Self-distillation

1. 1

   En træningsteknik inden for maskinlæring, hvor en model bruger sine egne forudsigelser (fra en tidligere version eller fra et senere lag i netværket) som læringssignal i stedet for eller som supplement til de faktiske etiketter.

   • Self-distillation kan forbedre performance uden ekstra data.
   • I self-distillation fungerer modellen som sin egen lærer.

Self-distillation bruges til at forbedre generalisering og modellens robusthed, især når et eksternt lærermodel ikke er tilgængeligt. Det kan anvendes i flere iterationer for gradvist at forfine modellen.

# Self-distillation loop
teacher = model  # start with same model
for epoch in range(epochs):
    for images, labels in dataloader:
        student_output = model(images)
        teacher_output = teacher(images).detach()
        loss = distillation_loss(student_output, teacher_output, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    teacher = copy.deepcopy(model)  # update teacher periodically

Eksempel på self-distillation træningsloop: modellen lærer fra en tidligere kopi af sig selv.

Termen er en sammensætning af 'self' og 'distillation', inspireret af knowledge distillation (Hinton et al., 2015), hvor viden overføres fra en stor model til en mindre.

• Distilling the knowledge in a neural network
• Born Again Neural Networks