lineær tids model
En model hvis tidsmæssige kompleksitet er lineær i længden af inputsekvensen, typisk opnået ved at erstatte fuld attention med tilnærmelser eller lineære transformationer.
Kort fortalt
En AI-model der kan behandle lange sekvenser hurtigt, fordi den bruger lineær tid i stedet for kvadratisk tid.
- Kategori
- model
- Niveau
- øvet
Betydninger
2- 1
Model hvis beregningstid vokser lineært med længden af inputsekvensen.
- Lineære tidsmodeller som Linformer og Mamba kan behandle sekvenser på 100.000 tokens uden at eksplodere i beregning.
- 2
Model der antager en lineær relation mellem tid og den afhængige variabel, fx i tidsserieanalyse.
- En lineær tidsmodel kan være en simpel lineær regression med tid som uafhængig variabel.
Hvornår bruges det
Bruges når man har brug for at modellere lange sekvenser (f.eks. dokumenter, tidsserier) og ønsker lav beregningskompleksitet. Typisk anvendt i lineære Transformere, state space-modeller (f.eks. Mamba) og lineære opmærksomhedsmekanismer.
Oprindelse
Udtrykket kommer af 'lineær' (som i lineær tid) og 'model', med reference til tidskompleksitet inden for algoritmeteori.
Kilder
2- Linformer: Self-Attention with Linear Complexity
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces