Small Language Model
En sprogmodel med et relativt lille antal parametre, typisk under 1 milliard, optimeret til effektivitet og implementering på enheder med begrænsede ressourcer.
Kort fortalt
En lille sprogmodel er en kompakt AI-model, der kan køre på almindelige computere eller telefoner og stadig forstå og generere tekst.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En sprogmodel med et lille antal parametre, designet til effektiv inferens.
- TinyBERT er et eksempel på en Small Language Model, der kan køre på mobile enheder.
- Small Language Models som DistilBERT bevarer 97 % af forståelsen af den originale model, men med halvt så mange parametre.
Hvornår bruges det
Small Language Models bruges ofte i applikationer, hvor der er behov for hurtig inferens, lav latenstid og minimale beregningsomkostninger, f.eks. på mobile enheder, i browsere eller i edge computing-scenarier. De kan også anvendes som specialiserede modeller til specifikke domæner.
Oprindelse
Termen opstod i modsætning til 'store sprogmodeller' (LLMs), efterhånden som forskere begyndte at fokusere på at gøre modeller mindre og mere effektive uden at ofre for meget ydeevne.
Afledte ord
1Kilder
3- DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (Sanh et al., 2019)
- MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices (Sun et al., 2020)
- TinyBERT: Distilling BERT for Natural Language Understanding (Jiao et al., 2020)