Quantization error
Forskellen mellem den oprindelige værdi og den kvantiserede værdi, når et tal afrundes eller begrænses til et lavere præcisionsformat.
Kort fortalt
Kvantiseringsfejl er den præcision, der går tabt, når neuralnetværkets vægte eller aktiveringer gemmes med færre bits end normalt.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Det tab af nøjagtighed, der opstår når kontinuerte værdier (f.eks. flydende kommatal) repræsenteres med et diskret sæt af værdier (f.eks. heltal) med færre bits. I maskinlæring refererer det specifikt til forskellen mellem en models originale flydende komma-vægte/aktiveringer og deres kvantiserede modstykker, hvilket kan medføre et fald i modelpræstationen.
- Efter kvantisering til int8 var den gennemsnitlige kvantiseringsfejl i vægtene mindre end 1%.
- Kvantiseringsfejl kan reduceres ved at justere kvantiseringsparametre.
Hvornår bruges det
Kvantiseringsfejl opstår under modelkomprimering, når flydende kommatal (f.eks. float32) konverteres til heltal (f.eks. int8). Fejlen kan påvirke modellens nøjagtighed, men kan minimeres ved kalibrering eller brug af kvantisering-strategier som post-training quantization eller quantization-aware training.
Formel
e = x - Q(x), hvor Q(x) = round(x/S) * S + Z med skala S og nulpunkt Z.Oprindelse
Fra engelsk 'quantization error', sammensat af 'quantization' (kvantisering) og 'error' (fejl).
Kilder
2- Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (Jacob et al., 2018)
- A Survey of Quantization Methods for Efficient Neural Network Inference (Gholami et al., 2021)