RNN-celle
forkortelse for recurrent neural network cell
En RNN-celle er den grundlæggende byggesten i et rekurrent neuralt netværk, der opdaterer en skjult tilstand baseret på et input og den foregående tilstand.
Kort fortalt
En RNN-celle er en lille enhed, der husker information fra tidligere tidstrin og kombinerer den med nyt input for at producere en opdateret hukommelse.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
Den standardiserede beregningsenhed i et rekurrent neuralt netværk, der tager et input x_t og en tidligere skjult tilstand h_{t-1} og producerer en ny skjult tilstand h_t gennem en ikke-lineær aktiveringsfunktion.
- En simpel RNN-celle anvender tanh-aktivering for at holde værdier mellem -1 og 1.
- I en stacked RNN sendes outputtet fra én RNN-celle som input til den næste celles lag.
Hvornår bruges det
RNN-cellen anvendes i sekvensmodellering som tekstgenerering, tidsserieanalyse og talebehandling. Den indgår i større arkitekturer som stacked RNN eller som del af encoder-decoder modeller.
Formel
h_t = tanh(W_h h_{t-1} + W_x x_t + b)Kodeeksempel
import numpy as np
def rnn_cell_forward(x_t, h_prev, W_h, W_x, b):
h_t = np.tanh(np.dot(W_h, h_prev) + np.dot(W_x, x_t) + b)
return h_tEn simpel Python-implementering af en RNN-cellefremadberegning ved hjælp af NumPy. Funktionen tager input x_t, tidligere skjult tilstand h_prev og vægte samt bias, og returnerer den nye skjulte tilstand h_t.
Oprindelse
Forkortelsen RNN står for 'rekurrent neuralt netværk' (recurrent neural network), og 'celle' er lånt fra engelsk 'cell', der betegner den enkelte enhed i netværket.