inference-mode
I inferens-tilstand kører en model uden træning, kun til at lave forudsigelser.
Kort fortalt
Inference-mode betyder, at en AI-model kun bruges til at give svar, ikke til at lære.
- Kategori
- teknik
- Niveau
- begynder
Betydninger
1- 1
Den tilstand hvori en maskinlæringsmodel anvendes til at lave forudsigelser på nye data, uden at opdatere vægtene.
- Når en ChatGPT-model er i inference-mode, genererer den tekst baseret på inputtet.
- Inference-mode er hurtigere end træningsmode, fordi der ikke beregnes gradienter.
Hvornår bruges det
Inference-mode bruges når en trænet model skal anvendes i praksis, fx i en app eller på en server. Her slås træningsfunktioner som dropout fra, og modellen kører effektivt.
Kodeeksempel
model.eval() # activate inference mode, disables dropout etc.
with torch.no_grad():
output = model(input)Aktivering af inference-mode i PyTorch med .eval() og torch.no_grad().
Oprindelse
Sammensat af 'inference' (slutning, ræsonnement) og 'mode' (tilstand).