robust optimization

1. 1

   Generel optimering under usikkerhed, hvor målet er at finde en løsning, der er god for alle mulige realiseringer af usikre parametre inden for en given usikkerhedsmængde.

   • Robust optimization bruges i forsyningskædeplanlægning til at håndtere usikker efterspørgsel.
2. 2

   I maskinlæring refererer robust optimization specifikt til adversarial training, hvor modellen trænes ved at minimere det maksimale tab over perturbede inputs inden for en epsilon-kugle.

   • Ved at anvende robust optimization opnåede modellen en 95% nøjagtighed mod FGSM-angreb.
   • Madry et al. (2017) viste, at robust optimization som adversarial training markant forbedrer modstand mod adversarial attacks. — arXiv:1706.06083

Robust optimization anvendes primært til at beskytte modeller mod adversarial attacks, f.eks. i billedgenkendelse eller naturlig sprogbehandling. Det implementeres ofte som adversarial training, hvor modellen trænes på både rene og perturbede eksempler.

min_θ E_(x,y)~D [ max_δ∈Δ L(f_θ(x+δ), y) ]

import torch
import torch.nn.functional as F

def adversarial_train(model, x, y, epsilon, optimizer):
    delta = torch.zeros_like(x, requires_grad=True)
    loss = F.cross_entropy(model(x + delta), y)
    loss.backward()
    grad = delta.grad
    delta = epsilon * torch.sign(grad)
    optimizer.zero_grad()
    loss_adv = F.cross_entropy(model(x + delta), y)
    loss_adv.backward()
    optimizer.step()

Eksempel på minimering af worst-case-tab med FGSM i PyTorch.

Begrebet stammer fra operations research (Ben-Tal et al., 2009) og blev senere adopteret i machine learning til at beskrive træning mod worst-case forstyrrelser.

• Towards Deep Learning Models Resistant to Adversarial Attacks (Madry et al., 2017)
• Robust Optimization (Ben-Tal, El Ghaoui, Nemirovski, 2009)