foundation-model-træningsomkostning
Omkostningerne ved at træne en foundation-model, typisk målt i GPU-timer, energi og finansielle ressourcer.
Kort fortalt
Hvad det koster i tid, strøm og penge at træne en stor AI-model som GPT eller BERT.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
De samlede ressourcer, der kræves for at træne en foundation-model, herunder GPU-timer, strømforbrug, udstyr og personaleomkostninger.
- Træning af GPT-3 kostede estimeret 4,6 millioner dollars i cloud-ressourcer.
- Foundation-model-træningsomkostninger er ofte en barriere for mindre virksomheder.
Hvornår bruges det
Begrebet bruges i planlægning og rapportering af store AI-projekter, hvor man estimerer og optimerer træningsomkostninger for at holde budgetter og reducere miljøpåvirkning.
Oprindelse
Sammensætning af 'foundation model' (grundlæggende model) og 'træningsomkostning' (træningsomkostning), brugt i litteratur om store sprogmodeller.
Kilder
2- Language Models are Few-Shot Learners
- Carbon Emissions and Large Neural Network Training