Wasserstein GAN

1. 1

   En Generative Adversarial Network (GAN), hvor diskriminatoren (critic) trænes til at maksimere Wasserstein-afstanden mellem reelle og genererede data, og generatoren trænes til at minimere denne afstand. Dette giver mere stabile gradienter og reducerer mode collapse.

   • WGAN bruger Earth Mover's Distance (Wasserstein-1) som tabsfunktion. — Arjovsky et al., 2017
   • Træning af WGAN kræver ofte weight clipping for at opretholde Lipschitz-betingelsen. — Arjovsky et al., 2017

WGAN bruges typisk i billedgenerering og andre generative opgaver, hvor træningsstabilitet er kritisk. Det reducerer mode collapse og giver en mere kontinuerlig gradient for generatoren. Kræver ofte weight clipping eller gradient penalty (WGAN-GP) for at opretholde Lipschitz-betingelsen.

W(P_r, P_g) = sup_{||D||_L ≤ 1} (E_{x~P_r}[D(x)] - E_{z~P_z}[D(G(z))])

# Critic loss (maximize Wasserstein distance)
def critic_loss(real_output, fake_output):
    return torch.mean(fake_output) - torch.mean(real_output)

# Generator loss (minimize Wasserstein distance)
def generator_loss(fake_output):
    return -torch.mean(fake_output)

# Note: Critic weights must be clipped or gradient penalty applied to enforce Lipschitz constraint.

Kort eksempel på tabsfunktioner i WGAN med PyTorch-lignende kode. Kritikeren (critic) maksimerer forskellen mellem ægte og genererede outputs, mens generatoren minimerer den negative forventning af de genererede outputs.

Introduceret af Martin Arjovsky, Soumith Chintala og Léon Bottou i 2017 som en løsning på træningsinstabilitet i originale GAN'er.

• Wasserstein GAN (Arjovsky et al., 2017)
• Improved Training of Wasserstein GANs (Gulrajani et al., 2017)