Scene-extensie: hoe AI video's en beelden slim verlengt
Stel je een oud schilderij voor dat te klein is geworden voor de nieuwe lijst. Een restaurateur bekijkt de stijl, de kleuren en de compositie van het origineel, en schildert vervolgens de randen door: dezelfde luchten, dezelfde penseelstreek, alsof het altijd al zo groot was geweest. Scene-extensie doet iets vergelijkbaars, maar dan met kunstmatige intelligentie en met video of foto's in plaats van olieverf.
Bij scene-extensie neemt een AI-model een bestaande opname en verzint er logisch aansluitende content bij: extra beeld aan de zijkanten van een foto, of extra seconden video die volgen op het laatste frame van een clip. Het systeem kijkt naar wat er al te zien is — de belichting, de bewegingsrichting, de stijl — en extrapoleert daaruit wat er waarschijnlijk verder zou gebeuren of te zien zou zijn, zonder dat er ooit echt is gefilmd of gefotografeerd.
Wat is het precies?
Scene-extensie bestaat in twee hoofdvormen: ruimtelijk en temporeel. Bij ruimtelijke extensie, ook wel "outpainting" genoemd, wordt het beeldkader vergroot: een AI vult de nieuwe, lege ruimte rond een bestaande foto of videoframe in met content die past bij de rest van het beeld. Bij temporele extensie gaat het om tijd in plaats van ruimte: het model voorspelt wat er ná het laatste frame van een video zou gebeuren, en genereert nieuwe frames die daarop aansluiten.
De techniek achter beide vormen leunt meestal op zogeheten diffusiemodellen. Dat zijn AI-systemen die zijn getraind door miljoenen beelden geleidelijk te "vervuilen" met ruis en het model vervolgens te laten leren die ruis weer stap voor stap te verwijderen. Na training kan zo'n model vanuit pure ruis een overtuigend beeld opbouwen — en als je het een deel van een bestaand beeld als uitgangspunt geeft, leert het de ontbrekende stukken aan te vullen op een manier die past bij de rest.
Voor video komt daar een extra uitdaging bij: temporele consistentie. Dat betekent dat opeenvolgende frames logisch op elkaar moeten aansluiten, zodat een bewegend object niet plotseling van vorm, kleur of positie verspringt. Modellen die video's genereren of verlengen, moeten daarom niet alleen losse beelden kunnen maken, maar ook beweging, natuurkundige aannemelijkheid en cameraperspectief door de tijd heen bewaken. Dit maakt temporele extensie technisch lastiger dan het uitbreiden van een enkele foto.
In de praktijk analyseert het model dus eerst de beschikbare pixels — kleurpaletten, textuur, lichtinval, bewegingsvectoren — en gebruikt die informatie als "aanwijzingen" om de ontbrekende ruimte of tijd in te vullen. Hoe meer context beschikbaar is en hoe korter het te genereren stuk, hoe overtuigender het resultaat doorgaans is.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter scene-extensie is kostenbesparing in film, televisie en reclame. Het opnieuw optuigen van een filmset, het inhuren van een crew of het opnieuw laten inreizen van acteurs voor een reshoot (een nieuwe opname omdat het originele materiaal niet volstaat) is duur. Als een AI een bestaande scène een paar seconden kan verlengen of het beeldkader kan verbreden, hoeft dat niet meer.
Ook bij archiefbeelden en dronebeelden is scene-extensie nuttig: een clip die net te kort is voor een montage, of camerabeeld dat een net iets te smal kader had voor een nieuw formaat (bijvoorbeeld van breedbeeld naar verticaal voor sociale media), kan met deze techniek passend worden gemaakt zonder opnieuw te hoeven filmen.
Daarnaast speelt previsualisatie een rol: filmmakers en reclamemakers gebruiken scene-extensie om snel een idee te testen — hoe zou een scène eruitzien als hij langer duurt, of als de camera verder uitzoomt — voordat ze geld uitgeven aan een echte opname. Voor makers van content voor sociale media en marketing biedt het bovendien een snelle, goedkope manier om bestaand beeldmateriaal opnieuw bruikbaar te maken.
Voorbeelden uit de praktijk
- Runway voegde met zijn Gen-2 en Gen-3-modellen (2023-2024) een "Extend"-functie toe waarmee gebruikers een gegenereerde of geüploade video enkele seconden konden verlengen door het model het laatste frame te laten doortrekken.
- Luma AI introduceerde in 2024 met Dream Machine een vergelijkbare extend-functie, waarmee bestaande clips stukje bij beetje langer gemaakt konden worden.
- Pika Labs bood met zijn videogeneratietool eveneens een extend-optie aan (2023-2024), gericht op korte, sociale-mediavriendelijke clips.
- Adobe maakte ruimtelijke extensie voor foto's breed toegankelijk met Generative Fill in Photoshop (2023), waarmee gebruikers het canvas van een foto konden vergroten en de AI de nieuwe randen liet invullen — een vorm van outpainting die niet aan video maar aan losse beelden is gekoppeld.
- OpenAI's Sora (aangekondigd in 2024) liet in demonstraties zien dat het model niet alleen video's van tekst kon genereren, maar ook bestaande video's kon verlengen of het beeldkader kon aanpassen; de exacte mogelijkheden en de mate van publieke beschikbaarheid van deze functies zijn op het moment van schrijven nog beperkt gedocumenteerd.
Hoe ver is de techniek?
Tussen 2023 en 2025 is er duidelijk vooruitgang geboekt: video's die eerst nog maar een paar seconden overtuigend te verlengen waren, worden nu iets langer en met minder zichtbare fouten gegenereerd. Toch blijven er belangrijke beperkingen bestaan.
Hoe verder een model van het originele beeldmateriaal af beweegt — dus hoe meer seconden of hoe breder het beeldkader wordt uitgebreid — hoe groter de kans op artefacten: zichtbare fouten zoals vervormde vormen, vreemd bewegende ledematen, of objecten die plotseling van vorm veranderen. Ook fysische consistentie is lastig: water dat niet logisch stroomt, schaduwen die niet kloppen met de lichtbron, of objecten die door elkaar heen lijken te bewegen, komen nog regelmatig voor.
De rekenkosten zijn eveneens een reële beperking. Het genereren van consistente videoframes vraagt veel rekenkracht (met name grafische processors, ofwel GPU's), wat de techniek relatief duur maakt om op grote schaal of in hoge kwaliteit in te zetten. Voor korte extensies van enkele seconden werkt de technologie inmiddels behoorlijk betrouwbaar; voor langere, complexere scènes is menselijke controle en nabewerking vaak nog nodig. Onafhankelijke, gestandaardiseerde benchmarks om verschillende scene-extensiemodellen eerlijk met elkaar te vergelijken, zijn bovendien nog schaars — veel claims over kwaliteit zijn afkomstig van de bedrijven zelf.
Wie werken eraan?
De ontwikkeling van scene-extensie wordt aangedreven door een combinatie van gespecialiseerde AI-videobedrijven en grote techbedrijven. Runway, Luma AI en Pika Labs zijn voorbeelden van jonge, gespecialiseerde spelers die zich vrijwel volledig richten op generatieve video. OpenAI bracht met Sora een breed opgemerkt model uit dat ook scene-extensie omvat, terwijl Google DeepMind onderzoek doet naar videogeneratiemodellen zoals Lumiere en Veo. Adobe en Meta AI investeren eveneens in generatieve beeld- en videotechnologie, vaak geïntegreerd in bestaande creatieve software.
Buiten de Verenigde Staten en Europa is met name China een belangrijke speler: bedrijven als Kuaishou (met het model Kling) en ByteDance hebben eigen videogeneratiemodellen ontwikkeld met vergelijkbare extend- en outpaintingmogelijkheden. Daarnaast dragen academische onderzoeksgroepen wereldwijd bij aan de onderliggende technieken, vaak gepubliceerd via open preprint-platforms voordat ze in commerciële producten belanden.