mode collapse
En fejltilstand i generative modeller, især GAN'er, hvor generatoren producerer et begrænset sæt af uddata, der kun dækker nogle få tilstande (modes) i datafordelingen i stedet for hele variationen.
Kort fortalt
Generatoren lærer kun at generere nogle få typer af eksempler i stedet for alle variationerne i træningsdataene.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /moʊd kəˈlæps/
Betydninger
1- 1
En situation under træning af generative modeller, især generative adversarial networks (GAN'er), hvor generatoren kun lærer at producere et begrænset antal forskellige eksempler (f.eks. kun én type ansigt eller én stil) i stedet for at dække hele mangfoldigheden af træningsdataene. Dette skyldes ofte et ubalanceret forhold mellem generator og diskriminator, hvor diskriminatoren ikke formår at tvinge generatoren til at udforske alle tilstande.
- Under træning af en GAN til at generere håndskrevne cifre oplevede vi mode collapse, hvor generatoren kun producerede tallet 7.
- Mode collapse er et velkendt problem i GAN-træning, og teknikker som mini-batch discrimination er udviklet til at afbøde det.
Hvornår bruges det
Mode collapse opstår typisk under træning af GAN'er, hvor generatoren finder en svaghed i diskriminatoren og udnytter den til kun at producere et snævert udvalg af billeder eller tekst. Det kan afhjælpes ved at justere arkitekturen eller bruge teknikker som minibatch discrimination eller spektral normalisering.
Oprindelse
Udtrykket 'mode collapse' kommer fra statistik og maskinlæring, hvor 'mode' refererer til en lokal maksimum i en sandsynlighedsfordeling, og 'collapse' betyder sammenfald, dvs. at modellen kun fokuserer på få tilstande.
Kilder
3- Generative Adversarial Nets (Goodfellow et al., 2014)
- Improved Techniques for Training GANs (Salimans et al., 2016)
- Wasserstein GAN (Arjovsky et al., 2017)