modelkomprimerings-teknik
En teknik til at reducere størrelsen og/eller beregningskompleksiteten af en AI-model med minimalt tab af ydeevne.
Kort fortalt
Måder at gøre en AI-model mindre og hurtigere, så den kan køre på en mobiltelefon eller i en webbrowser.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En metode til at reducere modellens størrelse eller beregningsbehov, ofte med henblik på effektiv inferens på ressourcebegrænsede platforme.
- Ved hjælp af kvantiserings- og pruning-teknikker kan man opnå betydelig modelkomprimering uden væsentligt præcisionstab. — Teknologirådets rapport om AI, 2023
- Knowledge distillation er en populær modelkomprimerings-teknik, hvor en mindre elevmodel lærer af en større lærer. — Hinton et al., 2015
Hvornår bruges det
Modelkomprimerings-teknikker anvendes når en trænet model skal implementeres på enheder med begrænsede ressourcer, f.eks. smartphones, IoT-enheder eller edge-servere. Teknikkerne omfatter f.eks. pruning, kvantisering og knowledge distillation.
Kodeeksempel
import torch
import torch.quantization
model = MyModel().eval()
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
model_prepared = torch.quantization.prepare(model)
model_quantized = torch.quantization.convert(model_prepared)Eksempel på kvantisering af en PyTorch-model ved hjælp af post-training quantization.
Oprindelse
Sammensat af 'model', 'komprimering' (lån fra engelsk compression) og 'teknik'. Engelsk 'model compression technique' har været brugt siden 1990'erne.