selektiv scanning
En teknik i transformermodeller, hvor modellen kun behandler de mest relevante dele af inputtet for at øge effektiviteten.
Kort fortalt
Selektiv scanning handler om, at modellen springer over irrelevante dele af teksten og kun kigger på de vigtigste steder, så den arbejder hurtigere.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
2- 1
En metode i neurale netværk, især transformere, hvor modellen fokuserer på en undergruppe af input-tokens eller -regioner baseret på en relevansvurdering.
- Selektiv scanning reducerer antallet af beregninger i opmærksomhedsmekanismen markant.
- 2
Et udvælgelsesprincip i RAG-systemer, hvor kun de bedst rangerede dokumenter inkluderes i konteksten.
- Med selektiv scanning kan RAG-modellen undgå at blive overbelastet med irrelevante oplysninger.
Hvornår bruges det
Selektiv scanning anvendes typisk i store sprogmodeller og RAG-systemer for at reducere beregningsomkostninger, især når inputtet er meget langt. Det kan implementeres ved hjælp af en top-k mekanisme eller en tærskelværdi for opmærksomhedsscore.
Oprindelse
Udtrykket er dannet af 'selektiv' (udvælgende) og 'scanning' (afsøgning), hentet fra computer vision og senere tilpasset NLP.
Kilder
2- Longformer: The Long-Document Transformer (2020)
- Efficient Transformers: A Survey (2020)