InstructPix2Pix

Bij inferentie generaliseert InstructPix2Pix naar echte foto’s en door de gebruiker geschreven instructies nadat het getraind is op onze geproduceerde data.

Wij stellen een methode voor om beelden te bewerken op basis van menselijke instructies: gegeven een invoerbeeld en een geschreven instructie die het model vertelt wat het moet doen, volgt ons model deze instructies om het beeld te bewerken. Om trainingsgegevens voor dit probleem te verkrijgen, combineren we de kennis van twee grote voorgetrainde modellen – een taalmodel (GPT-3) en een tekst-naar-beeld model (Stable Diffusion) – om een grote dataset van beeldbewerkingsvoorbeelden te genereren. Ons voorwaardelijk diffusiemodel, InstructPix2Pix, is getraind op onze gegenereerde data, en generaliseert naar echte afbeeldingen en door de gebruiker geschreven instructies tijdens inferenties. Aangezien het model bewerkingen uitvoert in de voorwaartse beweging en geen fijnafstemming of inversie per voorbeeld vereist, bewerkt ons model beelden snel, in enkele seconden. Wij tonen overtuigende bewerkingsresultaten voor een gevarieerde verzameling van invoerbeelden en geschreven instructies.

Bezoek @https://www.timothybrooks.com/instruct-pix2pix/