neural language model
En neural language model er en type sprogmodel baseret på neurale netværk, der forudsiger sandsynligheden af sekvenser af ord.
Kort fortalt
Kort fortalt: En neural sprogmodel er en AI, der lærer at forstå og generere tekst ved at forudsige næste ord i en sætning.
- Kategori
- model
- Niveau
- øvet
- Udtale
- /ˈn(j)ʊərəl ˈlæŋɡwɪdʒ ˈmɑdl/
Betydninger
1- 1
En neural sprogmodel er en probabilistisk model af sprog, der bruger neurale netværk til at estimere sandsynlighedsfordelingen over ordsekvenser.
- GPT-3 er en stor neural sprogmodel med 175 milliarder parametre.
- BERT er en bidirektional neural sprogmodel, der bruger maskeret sprogmodellering.
Hvornår bruges det
Neurale sprogmodeller bruges i oversættelse, tekstgenerering, talegenkendelse og andre NLP-opgaver. De trænes på store tekstkorpus ved hjælp af teknikker som word embeddings og transformerarkitekturer. Modeller som GPT og BERT er eksempler på neurale sprogmodeller.
Oprindelse
Neural language model stammer fra kombinationen af 'neural' (som i neurale netværk) og 'language model' (en statistisk model for sprog).
Afledte ord
2Kilder
2- A Neural Probabilistic Language Model
- Attention Is All You Need