soft target
En målværdi i form af en sandsynlighedsfordeling over klasser, typisk genereret af en lærermodel, i modsætning til en hård etiket.
Kort fortalt
Bløde mål er sandsynligheder i stedet for præcise etiketter, hvilket giver mere information til træning.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /sɒft ˈtɑːɡɪt/
Betydninger
1- 1
En målværdi givet som en sandsynlighedsfordeling over udfaldsrummet, typisk frembragt af en neurale netværks softmax-lag, brugt som træningssignal i stedet for hårde etiketter.
- Ved destillation af viden anvendes lærer-modellens soft targets som træningsdata for elev-modellen.
Hvornår bruges det
Soft targets anvendes primært i knowledge distillation, hvor en lille elevmodel trænes på outputfordelingen fra en stor lærermodel. De bruges også i label smoothing for at forhindre overfitting.
Oprindelse
Udtrykket opstod i forbindelse med knowledge distillation, hvor 'bløde' henviser til den sandsynlighedsbaserede natur i modsætning til 'hårde' diskrete etiketter.
Kilder
1- Distilling the Knowledge in a Neural Network