Inference
Processen hvor en trænet model anvendes på nye data for at generere output såsom forudsigelser, klassifikationer eller tekst.
Kort fortalt
Når en AI-model bruges til at give et svar eller en forudsigelse baseret på det, den har lært under træning.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ɪnˈfɪərəns/
Betydninger
1- 1
Anvendelse af en trænet maskinlæringsmodel på nye, hidtil usete data til at producere output.
- Under inference genererer sprogmodellen ét token ad gangen ved at sample fra sandsynlighedsfordelingen.
- Inferenshastigheden måles i antal tokens per sekund og er kritisk for realtidsapplikationer.
Hvornår bruges det
Inference bruges i praksis, når en model sættes i produktion, f.eks. når en sprogmodel besvarer spørgsmål eller når et billedgenkendelsessystem klassificerer billeder. Det er den fase, der følger efter træning, og hvor modellen ikke længere opdaterer sine vægte.
Kodeeksempel
import torch
model.eval() # slår dropout og batch-norm fra
with torch.no_grad():
output = model(input_data)Eksempel på inference i PyTorch: Slå eval-tilstand til og deaktiver gradientberegning.
Oprindelse
Fra latin 'inferre' (bringe ind). I AI-sammenhæng refererer det til at drage slutninger fra data.
Afledte ord
2Kilder
2- Deep Learning (Goodfellow et al., 2016)
- Attention Is All You Need (Vaswani et al., 2017)