selective scan
Selektiv scanning er en mekanisme i state space-modeller, der dynamisk vælger hvilke input-tokens der skal behandles, baseret på deres relevans, for at forbedre effektiviteten over lange sekvenser.
Kort fortalt
En teknik der lader en model kun fokusere på de vigtigste dele af en lang tekst, så den kan arbejde hurtigere og med mindre hukommelse.
- Kategori
- teknik
- Niveau
- ekspert
Betydninger
1- 1
En teknik inden for state space-modeller, hvor modellen under scanningen af en sekvens dynamisk vælger at opdatere sin skjulte tilstand baseret på inputtets betydning, således at urelevante tokens ignoreres.
- Mamba-modellen anvender selektiv scanning til at ignorere fyldord i lange dokumenter, hvilket reducerer beregningstiden markant. — Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces.
- Selektiv scanning gør det muligt for state space-modeller at skalere til sekvenser med hundredtusinder af tokens. — Gu & Dao, 2023.
Hvornår bruges det
Selektiv scanning bruges primært i state space-modeller som Mamba til at reducere beregningsomkostningerne ved at ignorere irrelevante eller redundante input. Det gør modellen i stand til at håndtere meget lange sekvenser effektivt, fx i dokumentklassifikation eller sprogmodellering.
Kodeeksempel
def selective_scan(inputs, relevance_scores):
hidden = initial_state
for i, x in enumerate(inputs):
if relevance_scores[i] > threshold:
hidden = update(hidden, x)
# else keep hidden
return hiddenSimplificeret illustration af selektiv scanning: kun input med høj relevans opdaterer den skjulte tilstand.
Oprindelse
Begrebet stammer fra Mamba-arkitekturen (Gu og Dao, 2023), der introducerede en selektiv mekanisme i state space-modellers scanningproces.
Kilder
1- Mamba: Linear-Time Sequence Modeling with Selective State Spaces