logits
Logits er de rå, ubehandlede værdier (scorer), som en neural netværksmodel producerer før en aktiveringsfunktion som softmax, typisk i klassifikationsopgaver.
Kort fortalt
Logits er de tal, som modellen sender ud, før de bliver omdannet til sandsynligheder – jo højere logit, jo mere sandsynlig er klassen.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /ˈlɒdʒɪts/
Betydninger
1- 1
De rå, ubehandlede scorer fra et neuralt netværks sidste fuldt forbundne lag, typisk før en softmax-aktivering i klassifikationsproblemer.
- Modelens logits for klasserne var [2.5, -1.2, 0.3], hvilket efter softmax gav sandsynligheden [0.87, 0.02, 0.11]. — Praksiseksempel
- Cross-entropy loss beregnes ofte direkte på logits for at undgå numeriske problemer med softmax. — PyTorch dokumentation (2023)
Hvornår bruges det
Logits anvendes som input til en softmax- eller sigmoid-funktion for at omdanne dem til sandsynligheder. De bruges også i klassifikations-tabsfunktioner som cross-entropy loss, der ofte tager logits direkte for numerisk stabilitet.
Kodeeksempel
import torch
import torch.nn.functional as F
logits = torch.tensor([[2.5, -1.2, 0.3]])
probs = F.softmax(logits, dim=1)
print(probs) # tensor([[0.8747, 0.0219, 0.1034]])Eksempel i PyTorch: logits fra et neuralt netværk omdannes til sandsynligheder via softmax.
Oprindelse
Termen 'logit' er en sammentrækning af 'logistic' og 'unit', inspireret af logit-funktionen i statistik (log-odds). I maskinlæring bruges det ofte i flertal om output fra et neuralt netværks sidste lag.