sprogmodel
En sprogmodel er en statistisk eller neural model, der beregner sandsynligheden for sekvenser af ord eller tokens.
Kort fortalt
Kort fortalt: en sprogmodel er en computer, der har lært at forudsige, hvilket ord der kommer næst i en sætning.
- Kategori
- model
- Niveau
- øvet
- Udtale
- /ˈsproːˀwmoˌdeˀl/
Betydninger
2- 1
En statistisk model, der tildeler en sandsynlighed til en sekvens af ord baseret på træk fra et korpus.
- N-gram-modeller er en simpel form for sprogmodel, der estimerer sandsynligheden for det næste ord ud fra de foregående n-1 ord.
- 2
En neural netværksbaseret model, der trænes på store tekstmængder til at forudsige det næste token i en sekvens, ofte ved hjælp af transformer-arkitekturen.
- GPT-3 er en stor neural sprogmodel med 175 milliarder parametre, der kan generere sammenhængende tekst på mange sprog.
- Sprogmodeller som BERT er designet til at forstå kontekst ved at læse tekst i begge retninger.
Hvornår bruges det
Sprogmodeller bruges i en lang række NLP-opgaver som maskinoversættelse, tekstgenerering, stavekontrol og talegenkendelse. I dag dominerer store neurale sprogmodeller (fx GPT-serien) og anvendes ofte via API'er til at generere menneskelignende tekst.
Kodeeksempel
from transformers import pipeline
generator = pipeline('text-generation', model='distilgpt2')
output = generator('Kunstig intelligens er', max_length=20)
print(output[0]['generated_text'])Eksempel på brug af en fortrænet sprogmodel (DistilGPT-2) til at generere tekst fra en prompt.
Oprindelse
Sammensat af 'sprog' (language) og 'model' (model).
Afledte ord
3Kilder
2- A Neural Probabilistic Language Model (Bengio et al., 2003)
- Attention Is All You Need (Vaswani et al., 2017)