Inpainting: hoe AI ontbrekende stukjes van een afbeelding invult
Stel je voor: je hebt een prachtige vakantiefoto, maar er staat een vreemde voorbijganger midden in beeld. Met inpainting kun je die persoon simpelweg wegvegen, waarna een computerprogramma zelf bedenkt wat daar "had moeten staan" — gras, een stukje muur, lucht — en dat naadloos invult. Het resultaat ziet eruit als een foto die nooit die voorbijganger heeft gekend.
Inpainting is een techniek uit de kunstmatige intelligentie waarbij een algoritme ontbrekende, beschadigde of bewust verwijderde delen van een afbeelding aanvult op een manier die visueel klopt met de rest van het beeld. De naam komt van een oude restauratietechniek: schilderijrestaurateurs die scheuren of ontbrekende verf "inschilderen" zodat het kunstwerk weer heel oogt. Digitale inpainting doet in feite hetzelfde, maar dan geautomatiseerd en razendsnel, en inmiddels vaak met generatieve AI die niet alleen kopieert maar ook nieuwe, plausibele inhoud verzint.
Wat is het precies?
Technisch gezien bestaat inpainting uit een paar stappen. Eerst wordt aangegeven welk deel van de afbeelding moet worden vervangen: dit heet een "mask" of masker, een soort sjabloon dat precies de pixels markeert die weg moeten. Dat masker kan een gebruiker handmatig tekenen (bijvoorbeeld door met een kwastje over een storend object te vegen), of een ander AI-model kan het automatisch genereren door bijvoorbeeld een object te herkennen.
Daarna gaat het eigenlijke inpainting-model aan het werk. Oudere methodes, zoals die in klassieke fotobewerkingssoftware, keken vooral naar de omliggende pixels en kopieerden of interpoleerden texturen: handig voor een egale muur of lucht, maar onbruikbaar voor complexe scènes met gezichten of objecten.
Moderne inpainting gebruikt generatieve modellen, meestal zogeheten diffusiemodellen (zoals Stable Diffusion) of eerder generative adversarial networks (GAN's). Een diffusiemodel is getraind door miljoenen afbeeldingen stap voor stap "kapot te maken" met ruis en vervolgens te leren hoe die ruis weer ongedaan te maken is. Bij inpainting wordt dat proces gestuurd: het model mag alleen het gemaskeerde gebied invullen, en het houdt daarbij rekening met de context van de rest van de afbeelding — kleuren, perspectief, belichting, stijl — zodat het resultaat ermee overeenkomt.
Veel moderne systemen combineren dit met tekststuring. De gebruiker kan niet alleen aangeven welk gebied vervangen moet worden, maar ook typen wat daar moet komen, bijvoorbeeld "een bos op de achtergrond" in plaats van de weggehaalde persoon. Het model vertaalt die tekst naar beeldinformatie dankzij een gekoppeld taal-beeldmodel, en vult het gat daarmee in.
Wat wil men ermee bereiken?
De belangrijkste belofte van inpainting is controle over beeldmateriaal zonder dat je een getrainde fotobewerkaar moet zijn. Voor fotografen en ontwerpers betekent dit dat storende elementen — een vuilnisbak, een stroomkabel, een vlek — in seconden kunnen verdwijnen, waar dat voorheen uren handwerk in photoshopsoftware kostte.
Daarnaast speelt inpainting een belangrijke rol in beeldrestauratie: oude, beschadigde foto's met scheuren, vochtvlekken of ontbrekende stukken kunnen worden gerepareerd, wat waardevol is voor archieven, musea en families die oude familiefoto's willen bewaren.
Een derde doel is creatieve beeldbewerking: kunstenaars en ontwerpers gebruiken inpainting om bestaande afbeeldingen uit te breiden of te herschikken, bijvoorbeeld door een foto breder te maken dan het origineel (dit heet ook wel "outpainting", een variant waarbij nieuw beeldmateriaal buiten de randen wordt toegevoegd in plaats van binnen een gat).
Tot slot is er een minder onschuldige kant: dezelfde techniek die een vlek verwijdert, kan ook gebruikt worden om bewijsmateriaal uit een foto te verwijderen of om mensen of objecten toe te voegen die er nooit waren. Dat maakt inpainting onderdeel van de bredere discussie over gemanipuleerde beelden en desinformatie, naast bijvoorbeeld deepfakes.
Voorbeelden uit de praktijk
Adobe introduceerde in 2023 "Generative Fill" in Photoshop, gebouwd op het eigen Firefly-model. Gebruikers kunnen een gebied selecteren, een korte tekstomschrijving geven, en Photoshop vult het gat generatief in — een van de eerste grootschalige, commerciële toepassingen van tekstgestuurde inpainting in mainstream software.
Google voegde met "Magic Editor" (aangekondigd in 2023, uitgerold in 2024 op Pixel-telefoons) vergelijkbare functionaliteit toe aan Google Foto's, waarmee gebruikers objecten uit vakantiefoto's kunnen verwijderen of verplaatsen.
Stability AI's open-source model Stable Diffusion kreeg vanaf 2022 specifieke inpainting-varianten (zoals Stable Diffusion Inpainting), die door onderzoekers en hobbyisten wereldwijd worden gebruikt en aangepast, onder meer in gratis tools als het open-source platform Automatic1111 en ComfyUI.
In de restauratiewereld is het Nederlandse Rijksmuseum-project rond de Nachtwacht (Operation Night Watch, gestart in 2019) een voorbeeld waarbij AI-technieken — deels verwant aan inpainting — werden gebruikt om op basis van een 17e-eeuwse kopie de verloren randstukken van Rembrandts schilderij digitaal te reconstrueren.
Meta demonstreerde in 2023 met modellen als "Emu Edit" eigen onderzoek naar generatieve beeldbewerking, waaronder inpainting-achtige functies, bedoeld om uiteindelijk in apps als Instagram en WhatsApp terecht te komen.
Hoe ver is de techniek?
Inpainting voor relatief eenvoudige taken — kleine objecten verwijderen op een egale achtergrond — werkt inmiddels zeer betrouwbaar en is al jaren beschikbaar in consumentensoftware. De grote sprong van de afgelopen drie tot vier jaar is dat ook complexe, drukke scènes met mensen, reflecties en ongewone texturen steeds overtuigender kunnen worden ingevuld, dankzij diffusiemodellen die veel realistischer beelddetails genereren dan de oudere technieken.
Toch zijn er nog duidelijke beperkingen. Modellen maken soms fouten met handen, tekst binnen afbeeldingen, of fysiek onlogische details (schaduwen die niet kloppen, lijnen die niet doorlopen). Bij grote of ingewikkelde ingevulde gebieden kan het resultaat er bij nadere inspectie "gegenereerd" uitzien in plaats van authentiek. Consistentie over meerdere frames van video is bovendien veel lastiger dan bij stilstaande beelden, waardoor video-inpainting nog een actief onderzoeksgebied is.
Een ander punt van discussie is detectie: naarmate inpainting beter wordt, wordt het moeilijker om gemanipuleerde foto's te herkennen. Onderzoekers werken daarom ook aan forensische detectiemethoden en aan standaarden voor herkomstinformatie van digitale beelden, zoals de inhoud-authenticatie-initiatieven van de Coalition for Content Provenance and Authenticity (C2PA), waarbij metadata wordt toegevoegd die aangeeft of en hoe een beeld bewerkt is.
Wie werken eraan?
Aan de commerciële kant investeren grote techbedrijven fors: Adobe (Firefly, Photoshop Generative Fill), Google (Magic Editor, onderzoekslab Google DeepMind), Meta (Emu-modellenfamilie) en Microsoft (dat via samenwerking met OpenAI generatieve beeldtechnologie in producten als Designer integreert).
Stability AI, opgericht in het Verenigd Koninkrijk, is met Stable Diffusion een drijvende kracht achter open-source inpainting-modellen die door een wereldwijde ontwikkelaarsgemeenschap worden doorontwikkeld. OpenAI draagt bij met DALL·E-modellen die ook inpainting-functionaliteit bieden binnen ChatGPT.
Op onderzoeksgebied spelen universiteiten een grote rol, waaronder groepen aan Stanford University, UC Berkeley en ETH Zürich, die regelmatig publiceren over verbeterde diffusietechnieken. In Nederland combineren instellingen als het Rijksmuseum en de TU Delft AI-onderzoek met toepassingen in restauratie en beeldanalyse.
Daarnaast houden academische en maatschappelijke organisaties zich bezig met de keerzijde: onderzoeksgroepen naar digitale beeldforensics en initiatieven als C2PA (met leden als Adobe, Microsoft, de BBC en Sony) werken aan standaarden om gemanipuleerde beelden herkenbaar te maken.