image-to-image generation
Billede-til-billede generation er en teknik inden for generativ AI, hvor et inputbillede transformeres til et outputbillede, ofte styret af en tekstprompt eller en målstil.
Kort fortalt
Du giver AI'en et billede, og den laver et nyt billede, der er en ændret version – fx farvelægger et sort-hvidt foto.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /ˈɪmɪdʒ tə ˈɪmɪdʒ ˌdʒɛnəˈreɪʃən/
Betydninger
2- 1
Generel proces, hvor et neuralt netværk tager et billede som input og genererer et nyt billede som output, typisk med ændrede visuelle egenskaber, mens strukturen bevares.
- Image-to-image generation kan anvendes til at konvertere satellitfotos til kort.
- 2
Specifikke applikationer som super-opløsning, farvelægning, style transfer, inpainting eller billedmanipulation styret af en tekstprompt.
- Med image-to-image generation kan man farvelægge gamle sort-hvide film.
Hvornår bruges det
Bruges i praksis til billedredigering, generering af variationer, super-opløsning, farvelægning, style transfer og medicinsk billedanalyse. Modeller som Pix2Pix, CycleGAN og latente diffusionsmodeller (f.eks. Stable Diffusion img2img) anvendes.
Kodeeksempel
from diffusers import StableDiffusionImg2ImgPipeline
pipe = StableDiffusionImg2ImgPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
# load initial image
from PIL import Image
init_image = Image.open("input.jpg")
prompt = "A fantasy landscape"
image = pipe(prompt=prompt, image=init_image, strength=0.75).images[0]
image.save("output.jpg")Eksempel på image-to-image generation med Stable Diffusion i Python: et inputbillede transformeres til et nyt billede styret af en prompt.
Oprindelse
Termen opstod med fremkomsten af betingede generative modeller, især Pix2Pix (2016), der brugte conditional GANs til oversættelse mellem billeddomæner.
Afledte ord
1Kilder
1- Image-to-Image Translation with Conditional Adversarial Networks (Pix2Pix)