RNN-lag
forkortelse for recurrent neural network layer
Et RNN-lag er et neuralt netværkslag med en skjult tilstand, der bevares over tid og muliggør behandling af sekventielle data.
Kort fortalt
Et RNN-lag er en byggesten i neurale netværk, der kan huske information fra tidligere tidstrin, hvilket gør det velegnet til opgaver som tekst- og taleanalyse.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
Et lag i et recurrent neural network, der opretholder en skjult tilstand over tid og anvender den samme vægtmatrix ved hvert tidstrin.
- I en simpel RNN-model består hvert RNN-lag af en tanh-aktiveringsfunktion og en skjult tilstand. — Deep Learning, Goodfellow et al., 2016
- GRU- og LSTM-lag er avancerede varianter af RNN-lag, designet til at løse problemet med forsvindende gradienter. — Understanding LSTM Networks, Colah, 2015
Hvornår bruges det
RNN-lag anvendes i sekvensmodellering, f.eks. i sprogmodeller, maskinoversættelse og tidsserieanalyse. De indgår ofte som en del af større arkitekturer som seq2seq-modeller eller dybe RNN'er.
Formel
h_t = tanh(W_{hh} h_{t-1} + W_{xh} x_t + b_h)Kodeeksempel
import numpy as np
def rnn_step(x, h_prev, W_hh, W_xh, b_h):
h_next = np.tanh(np.dot(W_hh, h_prev) + np.dot(W_xh, x) + b_h)
return h_nextEn simpel implementering af et tidstrin i et RNN-lag med numpy.
Oprindelse
RNN-lag er en sammensætning af forkortelsen RNN (fra engelsk 'Recurrent Neural Network') og 'lag', der betegner et lag i et neuralt netværk.
Afledte ord
3Kilder
2- Deep Learning, Goodfellow et al., 2016
- Understanding LSTM Networks, Colah, 2015