Memory

1. 1

   Neural hukommelse: mekanismer i neurale netværk der opretholder en intern tilstand eller hukommelsescelle, så tidligere information kan påvirke fremtidige beregninger.

   • LSTM'en bruger en glemmeport til at kontrollere, hvilken information der bevares i hukommelsescellen. — Hochreiter & Schmidhuber, 1997
   • I en transformer-modell fungerer attention-mekanismen som en form for arbejdshukommelse. — Vaswani et al., 2017
2. 2

   Agenthukommelse: lagring af oplevelser, fakta eller samtalehistorik i et AI-system, så det kan trække på dem i fremtidige interaktioner.

   • Dialogsystemet benytter en langtidshukommelse til at huske brugerens præferencer på tværs af samtaler.
   • Autonome agenter gemmer episodisk hukommelse for at forbedre beslutningstagning.

Memory bruges i alt fra sekvensmodeller som LSTM'er til agent-systemer, der skal huske kontekst over lange samtaler. Det er afgørende for opgaver som tidsrækkeprognose, maskinoversættelse og dialog.

import torch
import torch.nn as nn

class LSTMCell(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(LSTMCell, self).__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.W = nn.Linear(input_size, 4 * hidden_size)
        self.U = nn.Linear(hidden_size, 4 * hidden_size)
    
    def forward(self, x, state):
        h, c = state
        gates = self.W(x) + self.U(h)
        i, f, o, g = gates.chunk(4, dim=-1)
        i = torch.sigmoid(i)
        f = torch.sigmoid(f)
        o = torch.sigmoid(o)
        g = torch.tanh(g)
        c_new = f * c + i * g
        h_new = o * torch.tanh(c_new)
        return h_new, c_new

En simpel PyTorch-implementering af en LSTM-celle med glemmeporter.

Fra latin memoria, 'hukommelse'.

• Long Short-Term Memory (Hochreiter & Schmidhuber, 1997)
• Neural Turing Machines (Graves et al., 2014)