Knowledge distillation

1. 1

   Overførsel af viden fra en stor, stærk lærermodel til en mindre, mere effektiv elevmodel ved at træne eleven på lærerens bløde sandsynligheder (ofte ved forhøjet temperatur).

   • Vi brugte knowledge distillation til at reducere BERT-modellens størrelse med 40 % uden væsentligt præcisionstab. — Eksempel fra praksis
   • Knowledge distillation kan også forbedre generaliseringen af elevmodellen ved at udsætte den for lærerens fordeling af klassesandsynligheder. — Forskningsartikel, 2021

Knowledge distillation anvendes til modelkomprimering, signifikant reduktion af inferenstid og til at gøre komplekse modeller anvendelige på edge-enheder. Det er især populært i NLP og computer vision.

L_total = α * L_hard(y, σ(z_s)) + (1-α) * L_soft(σ(z_t / T), σ(z_s / T))

import torch
import torch.nn.functional as F

def distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7):
    soft_loss = F.kl_div(F.log_softmax(student_logits/T, dim=1),
                         F.softmax(teacher_logits/T, dim=1),
                         reduction='batchmean') * (T * T)
    hard_loss = F.cross_entropy(student_logits, labels)
    return alpha * hard_loss + (1 - alpha) * soft_loss

Eksempel på tabsfunktion til knowledge distillation i PyTorch. Lærermodellens logits bruges til at beregne et blødt tab ved temperatur T, kombineret med det hårde tab fra sande etiketter.

Udtrykket 'distillation' (destillation) hentyder til processen med at rense viden fra en stor model.

• Distilling the Knowledge in a Neural Network (Hinton et al., 2015)
• Model Compression (Buciluă et al., 2006)