meta-learner

1. 1

   En model, der lærer at lære – den træner en indre læringsalgoritme til at tilpasse sig nye opgaver hurtigt og effektivt.

   • Meta-learneren optimerer initialiseringsparametrene, så den indre model kan finjusteres med få gradientopdateringer. — Finn et al., 2017
   • I few-shot klassifikation trænes meta-learneren på en række episoder for at lære en god repræsentation. — Ravi & Larochelle, 2017
2. 2

   Den ydre loop i meta-learning, der opdaterer parametrene for den indre læringsalgoritme baseret på tværs af opgaver.

   • Meta-learneren i MAML opdaterer initialvægtene ved at tage gradienten af tabsfunktionen over flere opgaver. — Finn et al., 2017

Meta-learner bruges inden for few-shot learning, hvor målet er at generalisere til nye opgaver med meget få data. Den trænes ofte ved at simulere mange opgaver og opdatere sine parametre for at opnå hurtig tilpasning.

# Simpel meta-learning loop (pseudokode)
for task in tasks:
    # Indre loop: tilpas model på support set
    adapted_model = inner_loop(model, task.support)
    # Ydre loop: evaluer på query set og opdater meta-learner
    loss = loss_fn(adapted_model(task.query))
    meta_learner.update(loss)

En minimal illustration af, hvordan en meta-learner fungerer med en indre og ydre loop.

Sammensat af 'meta-' (græsk: 'over', 'omfattende') og 'learner' (lærende). Udtrykket opstod inden for meta-learning-forskning i 1990'erne.

• Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (Finn et al., 2017)
• Optimization as a Model for Few-Shot Learning (Ravi & Larochelle, 2017)