neural style transfer

1. 1

   En optimeringsbaseret metode, hvor et dybt convolutional neuralt netværk bruges til at kombinere indholdet af ét billede med stilen fra et andet ved at minimere en kombineret tabsfunktion bestående af indholdstab og stiltab.

   • Neural style transfer kan skabe imponerende kunstneriske billeder ved at efterligne en malers penselstrøg. — Gatys et al., 2015
   • Metoden kræver typisk hundredvis af iterationer for at opnå et tilfredsstillende resultat. — Johnson et al., 2016

Bruges til at skabe kunst, designe logoer, filtrere billeder i apps og i kreativ software som Photoshop eller mobilapps.

Content loss: L_c = ||F_l - P_l||²; Style loss: L_s = Σ_l w_l · ||G_l - A_l||²; Total loss: L = α·L_c + β·L_s, hvor F_l er feature maps, P_l er indholdets feature, G_l er Gram matrix for stil, A_l er Gram matrix for genereret billede.

import torch
import torch.optim as optim
# Assume pretrained VGG model and image tensors content_img, style_img
target = content_img.clone().requires_grad_(True)
optimizer = optim.LBFGS([target])
for i in range(300):
    def closure():
        optimizer.zero_grad()
        content_loss = compute_content_loss(target, content_img)
        style_loss = compute_style_loss(target, style_img)
        total_loss = 1e-3 * content_loss + 1e6 * style_loss
        total_loss.backward()
        return total_loss
    optimizer.step(closure)

Eksempel på optimeringsloop til neural style transfer med PyTorch.

Termen blev introduceret af Leon A. Gatys, Alexander S. Ecker og Matthias Bethge i 2015 i artiklen 'A Neural Algorithm of Artistic Style'.

• A Neural Algorithm of Artistic Style (Gatys et al., 2015)
• Perceptual Losses for Real-Time Style Transfer and Super-Resolution (Johnson et al., 2016)