AI-videogeneratie: hoe computers bewegende beelden leren maken

Stel je een regisseur voor die geen camera, geen acteurs en geen filmset nodig heeft. In plaats daarvan typt hij een zin als "een astronaut die over een strand wandelt bij zonsondergang, gefilmd met een drone" in een computerprogramma, en een paar minuten later rolt er een overtuigende videoclip uit. Dat is in de kern wat AI-videogeneratie doet: kunstmatige intelligentie die op basis van een tekstbeschrijving, een foto of een bestaande video geheel nieuwe bewegende beelden produceert, zonder dat er ooit camera's aan te pas zijn gekomen.

Het resultaat lijkt griezelig veel op echte filmopnames: personages bewegen natuurlijk, licht valt realistisch en de camera lijkt soepel te bewegen door een scène. Toch is er nooit iets gefilmd. Alles is berekend door een model dat heeft geleerd hoe de wereld eruitziet en beweegt, door miljoenen bestaande video's te bestuderen. Vergelijk het met een illustrator die duizenden foto's van honden heeft bekeken en daardoor zelf een hond kan tekenen die niet bestaat — alleen doet deze "illustrator" dat nu met bewegend beeld, inclusief tijd, fysica en continuïteit tussen beeldjes.

Wat is het precies?

AI-videogeneratie bouwt voort op technieken die eerst werden ontwikkeld voor stilstaande beelden, zoals de bekende tekst-naar-afbeelding-programma's. De meeste moderne videomodellen gebruiken een aanpak die een diffusiemodel heet. Dat werkt in grote lijnen zo: het model begint met willekeurige ruis (vergelijkbaar met sneeuw op een ouderwetse televisie) en leert stap voor stap die ruis weg te halen totdat er een scherp, samenhangend beeld overblijft dat past bij de gevraagde beschrijving.

Bij video komt daar een extra laag complexiteit bij: niet één beeld, maar tientallen beeldjes per seconde moeten kloppen én op elkaar aansluiten. Een stoel mag niet de ene seconde links staan en de volgende seconde rechts, en een gezicht moet van frame tot frame hetzelfde blijven. Om dat voor elkaar te krijgen, verwerken de nieuwste modellen video niet als een reeks losse plaatjes, maar als kleine ruimtelijke én tijdelijke blokjes, zogeheten spacetime patches. Een transformer — hetzelfde type neuraal netwerk dat ook achter taalmodellen als ChatGPT zit — leert de relaties tussen al die blokjes, zodat beweging, licht en perspectief logisch blijven kloppen.

De training gebeurt met enorme hoeveelheden videomateriaal waarbij beschrijvingen zijn toegevoegd (vaak automatisch gegenereerd door een ander AI-model). Door miljoenen voorbeelden te zien van "wat hoort bij welke tekst", leert het systeem statistische patronen: hoe water golft, hoe schaduwen meebewegen met een lichtbron, hoe een persoon loopt. Het model "begrijpt" fysica dus niet zoals een natuurkundige dat doet — het heeft alleen geleerd welke beeldpatronen typisch samen voorkomen, wat verklaart waarom het soms nog mis gaat bij ongebruikelijke combinaties, zoals een hand met een verkeerd aantal vingers of een voorwerp dat plotseling van vorm verandert.

Wat wil men ermee bereiken?

De belangrijkste belofte is het drastisch verlagen van de drempel en kosten van video maken. Een reclamefilmpje, een animatie of een speciale effect-shot kostte traditioneel een filmcrew, acteurs, locaties en weken montage. AI-videogeneratie moet dat terugbrengen tot een tekstopdracht en enkele minuten rekentijd, waardoor ook kleine bedrijven, onafhankelijke makers en onderwijsinstellingen toegang krijgen tot mogelijkheden die voorheen alleen grote studio's hadden.

Daarnaast zien onderzoekers dit als een stap richting bredere "wereldmodellen": AI-systemen die niet alleen beelden genereren, maar daadwerkelijk leren hoe de fysieke wereld werkt — zwaartekracht, botsingen, licht, oorzaak en gevolg. Dat soort kennis is ook waardevol buiten video alleen, bijvoorbeeld om robots te trainen in gesimuleerde omgevingen voordat ze in de echte wereld worden losgelaten.

Commercieel richten bedrijven zich vooral op drie toepassingen: marketing en reclame (snel varianten van een commercial maken), film en animatie (conceptbeelden, special effects, het opvullen van ontbrekende shots) en sociale media (korte, opvallende clips voor platforms als TikTok en Instagram). Ook special-effectsstudio's experimenteren ermee om dure groenschermopnames of stuntwerk gedeeltelijk te vervangen of aan te vullen.

Voorbeelden uit de praktijk

Sora, gelanceerd door OpenAI (de makers van ChatGPT) in februari 2024 en breder beschikbaar gemaakt eind 2024, was een van de eerste modellen die lieten zien hoe overtuigend tekst-naar-video kon worden, met shots tot ongeveer een minuut lang. In 2025 volgde een nieuwe versie met verbeterde fysica en synchrone audio, en een bijbehorende app waarin gebruikers zelf met korte clips konden experimenteren.

Google DeepMind bracht in 2024 Veo uit en in 2025 de opvolger Veo 3, die als een van de eerste modellen gelijktijdig beeld én bijpassend geluid genereerde — inclusief omgevingsgeluid en dialoog die synchroon loopt met de lipbeweging.

Runway, een New Yorks bedrijf dat al sinds 2018 aan generatieve videotools werkt, bracht in 2024 Gen-3 Alpha uit en werkte daarna door aan opvolgers; het bedrijf werkt inmiddels ook samen met Hollywoodstudio's aan productietools voor filmmakers.

Het Chinese techbedrijf Kuaishou lanceerde in juni 2024 Kling, dat vooral opviel door lange, vloeiende clips en snelle verspreiding in Azië; concurrent Kuaishou en andere Chinese spelers zoals Alibaba (met het model Wan) laten zien dat de ontwikkeling zich niet beperkt tot Amerikaanse bedrijven.

Ook Meta toonde in oktober 2024 zijn onderzoeksmodel Movie Gen, gericht op het combineren van video, audio en bewerkingsmogelijkheden, al is dit (nog) niet als los consumentenproduct uitgebracht.

Hoe ver is de techniek?

De vooruitgang ging de afgelopen twee à drie jaar opvallend snel: van korte, wazige en kunstmatig ogende clips van een paar seconden in 2022-2023 naar beelden van tientallen seconden tot een minuut die bij eerste oogopslag moeilijk van echte opnames te onderscheiden zijn. Toch zijn er nog duidelijke grenzen.

Consistentie over langere tijd blijft lastig: hoe langer een clip duurt, hoe groter de kans dat details verspringen — een logo op een shirt dat verandert, een achtergrondvoorwerp dat verdwijnt. Precieze controle is een ander obstakel: gebruikers kunnen nog niet goed sturen hoe een camera exact beweegt of hoe een personage er in opeenvolgende shots identiek uitziet, wat essentieel is voor een samenhangende film in plaats van losse fragmenten. Ook complexe interacties — meerdere mensen die samen iets doen, gereedschap gebruiken, fijne handbewegingen — gaan nog vaak mis.

Daarbovenop spelen praktische obstakels: het genereren van video vergt veel rekenkracht (en dus energie) per seconde output, wat de kosten en wachttijden hoog houdt vergeleken met tekst of losse afbeeldingen. En er lopen rechtszaken en discussies over auteursrecht, omdat trainingsdata vaak bestaat uit bestaand, auteursrechtelijk beschermd videomateriaal zonder expliciete toestemming van de makers — een kwestie die nog altijd niet is uitgekristalliseerd.

Wie werken eraan?

De voorhoede bestaat uit een combinatie van grote Amerikaanse techbedrijven en gespecialiseerde start-ups. OpenAI (Sora) en Google DeepMind (Veo) zetten de toon vanuit de grote platformbedrijven, terwijl Meta (Movie Gen) en Adobe (met videofuncties in Firefly) hun eigen onderzoekslijnen hebben. Gespecialiseerde start-ups zoals Runway, Pika Labs en Luma AI (bekend van Dream Machine) richten zich specifiek op creatieve videotools en werken relatief dicht bij filmmakers en ontwerpers.

China is uitgegroeid tot een tweede zwaartepunt, met Kuaishou (Kling) en Alibaba (Wan) als belangrijke spelers die qua kwaliteit internationaal meespelen. Daarnaast dragen universitaire onderzoeksgroepen — onder meer aan Amerikaanse en Chinese topuniversiteiten — bij aan de onderliggende wiskundige technieken via publicaties op platforms als arXiv, vaak nog voordat bedrijven die technieken in commerciële producten verwerken.

Verder lezen

• OpenAI — ontwikkelaar van Sora, met achtergrondinformatie over de werking en beperkingen van het model.
• Google DeepMind — onderzoeksdocumentatie over Veo en de bredere ambitie van "wereldmodellen".
• Runway — een van de pioniers in generatieve videotools voor filmmakers en ontwerpers.
• Meta AI — onderzoekspublicaties, waaronder Movie Gen.
• arXiv — open archief waar veel van de onderliggende wetenschappelijke papers over diffusiemodellen en videogeneratie worden gepubliceerd.