latent diffusion
Latent diffusion er en generativ teknik, der udfører diffusionsprocessen i et latenterum i stedet for pixelrummet, hvilket reducerer beregningsomkostningerne.
Kort fortalt
Latent diffusion gør det muligt at generere billeder ved at tilføje og fjerne støj i et komprimeret repræsentationsrum, hvilket er hurtigere og mere effektivt end at arbejde direkte med pixels.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- ˈleɪtənt dɪˈfjuːʒən
Betydninger
1- 1
En generativ model, der anvender en diffusionsproces i et latenterum opnået via en autoencoder, hvilket muliggør effektiv billedgenerering.
- Stable Diffusion er en populær latent diffusionsmodel, der kan generere billeder ud fra tekstbeskrivelser. — Rombach et al., 2022
Hvornår bruges det
Latent diffusion anvendes primært i tekst-til-billede-modeller som Stable Diffusion. Teknikken muliggør generering af højopløselige billeder på standard hardware ved at arbejde i et latenterum skabt af en autoencoder.
Kodeeksempel
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
image = pipe("a cat sitting on a couch").images[0]Eksempel på brug af Stable Diffusion, en latent diffusionsmodel, via Hugging Face Diffusers.
Oprindelse
Udtrykket 'latent diffusion' kombinerer 'latent' (skjult, i maskinlæring ofte brugt om komprimerede repræsentationer) og 'diffusion' (en proces med gradvis tilføjelse og fjernelse af støj).
Afledte ord
2Kilder
1- High-Resolution Image Synthesis with Latent Diffusion Models