logit-score

1. 1

   Den rå udgangsværdi fra et lineært lag i en neuralt netværk, før en aktiveringsfunktion som softmax anvendes. Logit-scores kan antage enhver reel værdi og omdannes til sandsynligheder via softmax.

   • Modellens logit-score for klassen 'kat' var 3.2, mens den for 'hund' var -1.5, hvilket efter softmax gav høj sandsynlighed for 'kat'. — Eksempel fra praksis
2. 2

   I sprogmodeller den værdi, som modellen tildeler hvert token i ordforrådet før softmax, brugt til at vælge næste token i genereringen.

   • Ved generering af tekst sammenlignes logit-scores for alle tokens, og det token med højeste logit-score (efter eventuel temperaturjustering) vælges ofte. — Eksempel fra praksis

Logit-scores anvendes typisk i klassifikationsmodeller (f.eks. softmax-klassifikatorer) og i sprogmodeller til at bestemme næste token. Ofte manipuleres logitterne med temperatur eller top-k sampling før softmax.

logit_i = w_i · x + b_i

import numpy as np
logits = np.array([2.0, 1.0, 0.1])
probs = np.exp(logits) / np.sum(np.exp(logits))
print(probs)  # [0.659, 0.242, 0.099]

Eksempel på konvertering af logit-scores til sandsynligheder med softmax.

Ordet 'logit' er en sammentrækning af 'logistic unit' og refererer til log-odds i logistisk regression. 'Score' angiver en numerisk værdi.

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning.
• Vaswani, A., et al. (2017). Attention Is All You Need.