ELBO-objective
forkortelse for Evidence Lower Bound objective
ELBO (Evidence Lower Bound) er en nedre grænse for log-marginal likelihood, der bruges som optimeringsmål i variational inference.
Kort fortalt
ELBO-objective er en funktion, der måler, hvor godt en simpel sandsynlighedsfordeling tilnærmer en kompleks baggrundsfordeling, og som maksimeres for at træne generative modeller.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Et optimeringsmål i variational inference der består af den forventede log-likelihood minus KL-divergensen mellem den variationelle posterior og prior.
- I en variational autoencoder maksimeres ELBO-objective for at lære en latent repræsentation af data.
- ELBO-objective er en nedre grænse for evidensen (log p(x)), så maksimering af ELBO svarer til at minimere KL-divergensen mellem den variationelle posterior og den sande posterior.
Hvornår bruges det
ELBO objective bruges i variational autoencoders (VAE'er) og andre modeller med latente variable til at optimere modelparametrene. Det er centralt i variational inference, da det omsætter problemet med at beregne den svære posterior til et optimeringsproblem.
Formel
ELBO = E_{q(z|x)}[log p(x|z)] - KL(q(z|x) || p(z))Kodeeksempel
def elbo_loss(x, reconstructed, mu, logvar):
recon_loss = F.binary_cross_entropy(reconstructed, x, reduction='sum')
kl_div = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
return recon_loss + kl_divEksempel på beregning af ELBO i en variational autoencoder (negativ ELBO som loss).
Oprindelse
ELBO står for Evidence Lower Bound, på dansk 'nedre grænse for evidens'. Begrebet stammer fra variational inference og blev formaliseret i 1990'erne.