upaaret billede-til-billede translation
En teknik inden for computervision, hvor en model oversætter billeder fra et domæne til et andet uden brug af parrede træningseksempler.
Kort fortalt
En metode til at lære en model at oversætte billeder, f.eks. fra en hest til en zebra, selvom man kun har separate billeder af heste og zebraer – ikke parrede billeder af samme scene.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Oversættelse af billeder mellem to domæner, hvor der ikke findes parrede eksempler af det samme motiv i begge domæner i træningsdata.
- CycleGAN er en populær arkitektur til upaaret billede-til-billede translation, der bruger cykluskonsistenstab. — Zhu et al., 2017
- Upaaret billede-til-billede translation kan anvendes til at konvertere sommerbilleder til vinterbilleder uden parrede data.
Hvornår bruges det
Bruges inden for billedmanipulation, stiloverførsel og domain adaptation. Modeller som CycleGAN og UNIT implementerer denne tilgang.
Kodeeksempel
import torch
import torch.nn as nn
class CycleConsistencyLoss(nn.Module):
def __init__(self, lambda_cycle=10.0):
super().__init__()
self.lambda_cycle = lambda_cycle
self.l1 = nn.L1Loss()
def forward(self, real_A, real_B, fake_B, fake_A, cyc_A, cyc_B):
loss_cycle_A = self.l1(cyc_A, real_A)
loss_cycle_B = self.l1(cyc_B, real_B)
return self.lambda_cycle * (loss_cycle_A + loss_cycle_B)Eksempel på cykluskonsistenstab i PyTorch, som bruges i CycleGAN for at opretholde indhold under upaaret oversættelse.
Oprindelse
Sammensat af 'upaaret' (uden par) og 'billede-til-billede translation' (image-to-image translation). Begrebet blev udbredt med introduktionen af CycleGAN i 2017.
Kilder
1- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks