memory-augmented neural network
En neural netværksarkitektur, der inkorporerer en ekstern hukommelsesstruktur, som modellen dynamisk kan læse og skrive til under behandling.
Kort fortalt
Et neuralt netværk, der har en slags 'noteblok' uden på sig, så det kan gemme og hente informationer på tværs af lange sekvenser.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /ˈmɛməri ɔːɡˈmɛntɪd ˈnjʊərəl ˈnɛtwɜːrk/
Betydninger
1- 1
En klasse af neurale netværksarkitekturer, der ud over de interne vægte har adgang til en ekstern hukommelsesmatrix, som kan læses og skrives via attention-mekanismer, muliggørende lagring og hentning af information på tværs af lange tidsmæssige afstande.
- Memory-augmented neurale netværk, såsom Differentiable Neural Computer (DNC), har vist imponerende resultater på opgaver, der kræver kompleks inference. — Graves et al., 2016
- Ved at tilføje en ekstern hukommelse kan netværket lære at gemme mellemresultater og genbruge dem senere, hvilket er afgørende for algoritmisk læring. — Weston et al., 2015
Hvornår bruges det
Bruges i opgaver, der kræver langtidsafhængigheder, som spørgsmål-svar, tekstforståelse og algoritmisk læring, hvor en standard RNN eller transformer ikke er tilstrækkelig.
Oprindelse
Begrebet opstod med introduktionen af Neural Turing Machine (Graves et al., 2014), som kombinerede et neuralt netværk med en differentierbar ekstern hukommelse.