ELBO-decomposition

forkortelse for Evidence Lower Bound decomposition

Opdeling af ELBO (Evidence Lower Bound) i komponenter, typisk rekonstruktionsterm og KL-divergens, for at forstå og optimere variational inference-modeller.

Kort fortalt

ELBO-dekomposition er en måde at dele bevisets nedre grænse op i mindre dele, så man kan se, hvad der påvirker modellens læring.

Kategori
begreb
Niveau
ekspert

Betydninger

1
  1. 1

    Opdelingen af ELBO i en rekonstruktionsterm, der måler, hvor godt modellen rekonstruerer data, og en regulariseringsterm (KL-divergens), der sikrer, at den latente fordeling ligger tæt på prior.

    • ELBO-dekompositionen i en VAE viser, at rekonstruktionstabet alene ikke er tilstrækkeligt til at træne en god generativ model.
    • Ved at analysere ELBO-dekompositionen kan man identificere, om modellen overfokuserer på rekonstruktion eller regularisering.

Hvornår bruges det

Bruges i variational autoencoders (VAE'er) til at adskille rekonstruktionstab og regularisering, og i mere avancerede probabilistiske modeller for at analysere og forbedre læringen.

Formel

ELBO = E_q(z|x)[log p(x|z)] - KL(q(z|x) || p(z))

Kodeeksempel

def elbo_decomposition(x, z_mean, z_log_var, decoder):
    # Reconstruction term
    recon = tf.reduce_sum(x * tf.math.log(decoder(z_mean)) + (1-x)*tf.math.log(1-decoder(z_mean)), axis=1)
    # KL divergence term
    kl = -0.5 * tf.reduce_sum(1 + z_log_var - tf.square(z_mean) - tf.exp(z_log_var), axis=1)
    return recon - kl

Eksempel på ELBO-dekomposition i en VAE med binære data og en Gaussisk latent fordeling.

Oprindelse

ELBO står for 'Evidence Lower Bound', dekomposition betyder opdeling. Begrebet stammer fra variational inference i maskinlæring.

Kilder

2

Se også

Mere

Flere i begreb →Tilfældigt opslag →