fortrænet sprogmodel
En sprogmodel, der er trænet på en stor tekstkorpus og efterfølgende finjusteres til specifikke opgaver.
Kort fortalt
En fortrænet sprogmodel er en AI-model, der har lært sprogforståelse fra enorme mængder tekst, så den kan tilpasses til mange forskellige opgaver som oversættelse eller tekstgenerering.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En neural sprogmodel, der er trænet på en stor, generel tekstsamling (f.eks. almindelige internetsider) for at lære sproglige mønstre og repræsentationer, hvorefter den kan tilpasses til specifikke opgaver gennem finjustering.
- BERT er en af de mest kendte fortrænede sprogmodeller, udviklet af Google i 2018. — Devlin et al., 2019
- Fortrænede sprogmodeller har revolutioneret NLP-området, fordi de kan overføre viden fra én opgave til en anden. — forskningsartikel, 2023
Hvornår bruges det
Fortrænede sprogmodeller bruges som udgangspunkt til NLP-opgaver. Man henter en eksisterende model, fx BERT eller GPT, og finjusterer den på en mindre, opgavespecifik datasæt. Det sparer tid og ressourcer sammenlignet med at træne fra bunden.
Kodeeksempel
from transformers import pipeline
model = pipeline("text-generation", model="gpt2")
output = model("Artificial intelligence is", max_length=30)
print(output)Eksempel på brug af en fortrænet GPT-2-model via Hugging Face Transformers til tekstgenerering.
Oprindelse
Dannet efter engelsk 'pretrained language model', hvor 'fortrænet' betyder at modellen allerede er trænet på en generel korpus.