deep GRU
En deep GRU er et neuralt netværk med flere stablede GRU-lag, der muliggør læring af hierarkiske tidsmæssige repræsentationer.
Kort fortalt
Deep GRU er en udvidelse af GRU, hvor du stabler flere lag oven på hinanden for at fange mere komplekse mønstre i sekvensdata.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /diːp dʒiː ɑːr juː/
Betydninger
1- 1
En dyb GRU er et rekurent neuralt netværk bestående af flere stablede GRU-lag, hvor hvert lags skjulte tilstand gives som input til det næste lag, hvilket øger modellens kapacitet til at lære hierarkiske tidsmæssige afhængigheder.
- Dybe GRU'er bruges ofte til talegenkendelse og maskinoversættelse.
- En deep GRU med fire lag blev trænet til at forudsige aktiekurser baseret på historiske data.
Hvornår bruges det
Deep GRU bruges typisk til opgaver som talegenkendelse, maskinoversættelse og tidsserieanalyse, hvor der er behov for at modellere langvarige afhængigheder. I praksis tilføjes flere GRU-lag for at øge modellens kapacitet, men det kræver også mere data og regulering for at undgå overfitting.
Kodeeksempel
import torch
import torch.nn as nn
class DeepGRU(nn.Module):
def __init__(self, input_size, hidden_size, num_layers):
super().__init__()
self.gru = nn.GRU(input_size, hidden_size, num_layers, batch_first=True)
def forward(self, x):
out, h = self.gru(x)
return outEn simpel PyTorch-implementering af en deep GRU med et specificerbart antal lag.
Oprindelse
'Deep' kommer fra engelsk og betyder 'dyb', refererende til netværkets mange lag. 'GRU' er en forkortelse for 'Gated Recurrent Unit', introduceret af Cho et al. i 2014.
Kilder
1- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation