foundation-model-træningsdata
De omfattende datasæt, der anvendes til at træne en foundation model, typisk bestående af store mængder ustruktureret tekst, billeder eller andet indhold fra internettet.
Kort fortalt
De enorme mængder data, som en foundation model trænes på, ofte hentet fra internettet uden specifik mærkning.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Det specifikke datasæt eller samling af data, der anvendes til præ-træning af en foundation model.
- GPT-3 blev trænet på foundation-model-træningsdata bestående af en stor del af internettet, herunder Common Crawl. — Brown et al., 2020
- Kvaliteten af foundation-model-træningsdata er afgørende for modellens ydeevne og bias. — Bommasani et al., 2021
Hvornår bruges det
Foundation-model-træningsdata bruges under præ-træningsfasen, hvor modellen lærer generelle mønstre og repræsentationer. Dataene skal være store og varierede for at opnå bred generalisering, men kan indeholde bias og uønsket indhold.
Oprindelse
Udtrykket 'foundation model' blev introduceret af Stanford Institute for Human-Centered AI (HAI) i 2021 for at beskrive store modeller trænet på brede data, der kan tilpasses mange opgaver.
Afledte ord
1Kilder
2- Bommasani et al., 'On the Opportunities and Risks of Foundation Models', 2021
- Brown et al., 'Language Models are Few-Shot Learners', 2020