foundation-model-træning
forkortelse for foundation model training
Foundational model træning er den indledende fase, hvor en stor model trænes på massive, ustrukturerede datasæt ved hjælp af selvsuperviserede læringsmetoder.
Kort fortalt
Foundational model træning er processen med at lære en meget stor AI-model fra enorme mængder data, så den kan tilpasses mange forskellige opgaver.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
Pre-training fasen, hvor en foundation model trænes fra bunden på et bredt datasæt ved hjælp af selvsuperviserede mål som sprogmodellering eller maskeret sprogmodellering.
- Foundation-model-træning af GPT-3 krævede hundredvis af petaflop-dage på specialiserede GPU-klynger. — Brown et al., 2020
- Effektiv foundation-model-træning afhænger af omhyggelig planlægning af data, arkitektur og optimering.
Hvornår bruges det
Bruges i forskning og udvikling af store sprogmodeller og multimodale modeller. Træningen kræver store computerressourcer og typisk uges eller måneders træning på specialiserede hardwareklynger.
Oprindelse
Termen er en kombination af det engelske 'foundation model' og danske 'træning'. Betegnelsen 'foundation model' blev populariseret af Stanford CRFM i 2021.