adversariel domænetilpasning

1. 1

   En teknik inden for domænetilpasning, hvor en generator (eller feature extractor) trænes til at producere repræsentationer, der både er nyttige for en klassifikator på kildedomænet og forvirrende for en domænediskriminator, så repræsentationerne bliver domæne-invariante.

   • Ved brug af adversariel domænetilpasning kan en model trænet på laboratoriedata generalisere til virkelige data uden yderligere mærkning. — Eksempel fra praksis
   • Gradient reverseringslaget er en central komponent i adversariel domænetilpasning, da det muliggør end-to-end træning af feature extractor og domænediskriminator. — Eksempel fra litteratur

Adversariel domænetilpasning bruges typisk i scenarier hvor man har et stort, mærket datasæt (kildedomæne) og et umærket eller sparsomt mærket datasæt (måldomæne), fx ved overførsel af en model fra syntetiske billeder til ægte billeder. Teknikken implementeres ofte med et gradient reverseringslag (gradient reversal layer) der under bagpropagation vender fortegnene på gradienterne fra domæneklassifikatoren.

min_{G, C} max_{D} L_cls(G, C) - λ L_domain(G, D)

# Gradient reversal layer (GRL) i PyTorch
class GradientReversalLayer(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x, lambda_):
        ctx.lambda_ = lambda_
        return x.view_as(x)
    @staticmethod
    def backward(ctx, grad_output):
        return grad_output.neg() * ctx.lambda_, None

En simpel implementation af gradient reverseringslaget, der vender gradienternes fortegn under bagpropagation multipliceret med en lambda-parameter.

Begrebet er en oversættelse af engelsk 'adversarial domain adaptation', hvor 'adversarial' refererer til modspilstræning (som i GAN'er) og 'domain adaptation' betegner tilpasning mellem domæner.

• Unsupervised Domain Adaptation by Backpropagation (Ganin & Lempitsky, 2015)
• Domain-Adversarial Training of Neural Networks (Ganin et al., 2016)