ELBO
forkortelse for Evidence Lower Bound
ELBO er en nedre grænse for log-sandsynligheden af observerede data, der bruges i variational inference til at approksimere intractable posterior-fordelinger.
Kort fortalt
ELBO er en matematisk metode til at træne modeller med skjulte variable ved at optimere en håndterbar nedre grænse i stedet for den svære sandsynlighed.
- Kategori
- begreb
- Niveau
- ekspert
- Udtale
- /ˈɛlboʊ/
Betydninger
1- 1
En nedre grænse for log-marginal-sandsynligheden af observerede data, som maksimeres i variational inference for at finde en approksimation til posterior-fordelingen.
- Under træning af en variational autoencoder maksimeres ELBO for at lære både encoderens og decoderens parametre. — Kingma & Welling, 2013
Hvornår bruges det
ELBO anvendes ofte i variational autoencoders (VAE'er) og andre probabilistiske modeller som træningsmål, hvor den maksimeres i stedet for den ukendte log-sandsynlighed. Den sikrer, at den approksimerede posterior er tæt på den sande posterior.
Formel
ELBO = E_{q(z|x)}[log p(x|z)] - KL(q(z|x) || p(z))Kodeeksempel
def elbo_loss(x, reconstructed_x, mu, logvar):
reconstruction_loss = F.binary_cross_entropy(reconstructed_x, x, reduction='sum')
kl_loss = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
return reconstruction_loss + kl_lossEksempel på ELBO-tab i en VAE: rekonstruktionstab plus KL-divergens.
Oprindelse
Udtrykket 'Evidence Lower Bound' (bevisets nedre grænse) stammer fra variational inference-litteraturen, hvor 'evidence' refererer til marginal log-sandsynlighed for data.