Bidirectional GRU
forkortelse for Bidirectional Gated Recurrent Unit
En variant af GRU der behandler sekvenser i både fremad- og bagudrettet retning.
Kort fortalt
En GRU der læser teksten både forfra og bagfra for at forstå sammenhænge bedre.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /ˌbaɪdɪˈrɛkʃənəl dʒiː ɑːr juː/
Betydninger
1- 1
En neural netværksarkitektur der kombinerer to GRU-lag, et der behandler inputsekvensen i kronologisk rækkefølge og et der behandler den omvendt, og konkatinerer deres skjulte tilstande for hvert tidsskridt.
- I opgaven med navngiven enhedsgenkendelse opnåede den tosidede GRU en højere F1-score end den enrettede variant. — Forskningsartikel, 2023
Hvornår bruges det
Bruges i sekvensmodellering hvor kontekst fra både fortid og fremtid er vigtig, f.eks. i navngiven enhedsgenkendelse eller maskinoversættelse. Implementeres typisk som to separate GRU-lag, ét for hver retning, hvis output konkatenes.
Kodeeksempel
import torch.nn as nn
class BiGRU(nn.Module):
def __init__(self, input_size, hidden_size, num_layers=1):
super().__init__()
self.gru = nn.GRU(input_size, hidden_size, num_layers,
batch_first=True, bidirectional=True)
def forward(self, x):
# x shape: (batch, seq_len, input_size)
out, hidden = self.gru(x)
# out shape: (batch, seq_len, hidden_size*2)
return outEksempel på en tosidet GRU i PyTorch med kun ét lag. Outputtet har dobbelt så stor skjult dimension.
Oprindelse
Sammensat af engelsk 'bidirectional' (tosidet) og 'GRU' (forkortelse for Gated Recurrent Unit).
Kilder
2- Bidirectional Recurrent Neural Networks (Schuster & Paliwal, 1997)
- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation (Cho et al., 2014)