state

1. 1

   Skjult tilstand (hidden state) i et rekursivt neuralt netværk (RNN); en vektor der komprimerer information om tidligere input og bæres frem til næste tidsskridt.

   • RNN'ens skjulte state opdateres for hvert nyt ord i sætningen.
2. 2

   I forstærkningslæring: en repræsentation af miljøet på et givet tidspunkt, der indeholder al relevant information for beslutningstagning.

   • Agenten vælger en handling baseret på den nuværende state og den forventede belønning.
3. 3

   I transformermodeller: key-value-cachen der gemmes under autoregressiv generering for at undgå genberegning af tidligere tokens.

   • Under tekstgenerering holder transformeren en state med tidligere keys og values, så kun det nye token skal behandles fuldt ud.

Inden for deep learning bruges state især i rekursive neurale netværk (RNN'er), hvor den skjulte state overfører kontekst mellem tidsskridt. I transformermodeller refererer state til key-value-cachen, der genbruges under autoregressiv generering. I forstærkningslæring er state en beskrivelse af miljøet på et givet tidspunkt, der bruges til at vælge handlinger.

hidden_state = torch.zeros(batch_size, hidden_dim)
for x in input_sequence:
    hidden_state = rnn_cell(x, hidden_state)

Illustrerer hvordan en skjult state opdateres for hvert element i en sekvens i et RNN.

Fra latin 'status' (tilstand, stilling). Termen anvendes i datalogi og AI til at beskrive en opsamlet mængde information på et givet tidspunkt.

• Deep Learning (Goodfellow et al., 2016)
• Reinforcement Learning: An Introduction (Sutton & Barto, 2018)
• Attention Is All You Need (Vaswani et al., 2017)