working memory
Working memory er en mekanisme i neurale netværk og sprogmodeller, der midlertidigt lagrer og manipulerer information under behandling af en opgave.
Kort fortalt
Working memory er som en midlertidig notesblok, modellen bruger til at huske relevant information, mens den løser en opgave.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- ˈwɜːrkɪŋ ˈmɛməri
Betydninger
2- 1
Den mentale kapacitet til midlertidigt at opbevare og bearbejde information, som er essentiel for komplekse kognitive opgaver som ræsonnement, sprogforståelse og beslutningstagning.
- Mennesker har en begrænset working memory-kapacitet, typisk omkring 7±2 elementer. — Miller's Law, 1956
- 2
En komponent i et neuralt netværk eller en sprogmodel, der gør det muligt at fastholde og opdatere en repræsentation af relevant kontekst under sekventiel behandling, ofte realiseret via en ekstern hukommelsesmatrix eller en særlig attentionsmekanisme.
- I Differentiable Neural Computers fungerer en ekstern memory matrix som working memory, hvor modellen kan læse og skrive til konteksten. — Graves et al., 2016
Hvornår bruges det
Working memory bruges i moderne transformer-arkitekturer som en måde at opretholde og opdatere kontekst over længere afstande uden at skulle genberegne hele inputtet. Det ses ofte i modeller med en ekstern hukommelseskomponent, som f.eks. i Differentiable Neural Computers eller i sprogmodeller med memory-augmented attention.
Oprindelse
Begrebet stammer fra kognitionspsykologi, hvor det betegner den mentale kapacitet til at holde og arbejde med information i kort tid. I AI er det overtaget og anvendes om kunstige systemer med analog funktionalitet.
Afledte ord
3Kilder
3- Baddeley, A. D., & Hitch, G. (1974). Working Memory.
- Graves et al. (2016). Hybrid computing using a neural network with dynamic external memory.
- Vaswani et al. (2017). Attention Is All You Need.