adapter

1. 1

   En parameter-effektiv finjusteringsmetode, hvor små, separate neurale netværksmoduler (adaptere) indsættes mellem lagene i en forudtrænet model. Under træning opdateres kun adapterne, mens de originale vægte forbliver frosne.

   • Vi brugte adaptere til at finjustere BERT på tre forskellige klassifikationsopgaver uden at gemme tre separate modeller. — forskningsartikel, 2023
   • Adaptere muliggør effektiv opgavespecifik tilpasning af store sprogmodeller med minimalt hukommelsesforbrug. — forskningsartikel, 2022

Adapter bruges især til at finjustere store sprogmodeller (f.eks. BERT, GPT) på specifikke opgaver med begrænsede data. Det gør det muligt at tilpasse modellen til mange forskellige opgaver uden at gemme en fuld kopi af modellen for hver opgave. Adapter bliver ofte brugt i forbindelse med multitask-læring og kontinuerlig læring.

import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, d_model, bottleneck_size=64):
        super().__init__()
        self.down = nn.Linear(d_model, bottleneck_size)
        self.activation = nn.ReLU()
        self.up = nn.Linear(bottleneck_size, d_model)

    def forward(self, x):
        return self.up(self.activation(self.down(x))) + x

En simpel PyTorch-implementering af et adapterlag med residualforbindelse. 'd_model' er inputdimensionen, og 'bottleneck_size' er den interne flaskehalsdimension, typisk meget mindre end d_model.

Ordet 'adapter' kommer fra engelsk og betyder 'tilpasningsenhed' eller 'mellemstykke'. I maskinlæring refererer det til en lille neural netværkskomponent, der 'tilpasser' en stor model til en ny opgave.

• Parameter-Efficient Transfer Learning for NLP
• LoRA: Low-Rank Adaptation of Large Language Models