student model
En mindre, komprimeret model der trænes til at efterligne en større og mere kompleks lærer-models adfærd og prædiktioner.
Kort fortalt
En student model er en lille og hurtig AI-model, der lærer af en stor og avanceret model (læreren) for at opnå næsten lige så god præstation.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En mindre model der trænes i et knowledge distillation-setup til at efterligne en større lærer-models outputfordeling eller interne repræsentationer.
- Ved at destillere viden fra en stor transformer-model opnår student-modellen næsten samme nøjagtighed med en tiendedel af parametrene. — Forskningsartikel om viden destillation, 2023
Hvornår bruges det
Student-modeller anvendes primært i knowledge distillation, hvor en stor model (læreren) overfører sin viden til en mindre model (eleven) gennem bløde labels eller mellemliggende repræsentationer. Dette gøres for at reducere modelstørrelse og inferenstid uden stort præcisionstab, fx til mobile enheder eller edge computing.
Oprindelse
Udtrykket kommer fra metaforen om lærer-elev, hvor eleven (studenten) lærer af læreren (teacher). Begrebet blev populært inden for maskinlæring med arbejdet om viden destillation af Hinton et al. (2015).
Afledte ord
1Kilder
1- Distilling the Knowledge in a Neural Network (Hinton et al., 2015)