Keyframe-interpolatie: hoe machines de tussenstapjes van beweging bedenken
Stel je een tekenfilm voor waarin een bal van de linkerkant van het scherm naar de rechterkant stuitert. Een animator hoeft niet elk los beeldje met de hand te tekenen. Hij legt een paar belangrijke standen vast: de bal aan het begin, op het hoogste punt van de sprong en aan het einde. De software rekent vervolgens zelf uit hoe de bal er op elk moment tussenin uitziet. Die belangrijke, met de hand vastgelegde standen heten keyframes (sleutelbeelden), en het proces waarbij een programma de stapjes ertussen invult heet keyframe-interpolatie.
Het principe is niet nieuw, maar duikt de laatste jaren steeds vaker op in nieuwsberichten over toekomsttechnologie, omdat kunstmatige intelligentie er een nieuwe laag aan heeft toegevoegd. Waar interpolatie vroeger vooral rekenwerk was met getallen — een positie, een hoek, een kleurwaarde — kan een AI-model tegenwoordig complete videobeelden verzinnen die tussen twee bestaande beelden in horen te zitten, zonder dat die beelden ooit gefilmd zijn. Dat maakt het onderwerp relevant voor films, games, videobewerking én de nieuwe generatie AI-videogeneratoren.
Wat is het precies?
Een keyframe legt de toestand van iets op een bepaald moment vast: de positie van een personage, de stand van een 3D-model, de kleur van een lamp, of een compleet videobeeld. Interpolatie is de wiskundige truc om, gegeven twee bekende waarden, een tussenwaarde te schatten. Bij de eenvoudigste vorm, lineaire interpolatie, verandert een waarde in gelijke stapjes tussen begin- en eindpunt. Dat werkt, maar oogt vaak mechanisch: een bal die zo beweegt, versnelt en vertraagt niet zoals in het echt.
Daarom gebruiken animatieprogramma's al decennia zogeheten easing-curves: wiskundige krommes die bepalen hoe snel een verandering optreedt. Een beweging kan langzaam beginnen, versnellen in het midden en weer afremmen aan het eind — het bekende ‘slow in, slow out’-principe uit de klassieke animatie. Software als Autodesk Maya toont deze curves in een zogeheten Graph Editor, waar animators de vorm van de beweging met de hand kunnen bijstellen.
Bij video ligt het lastiger, omdat een computer niet één getal maar een heel beeld — miljoenen pixels — moet verzinnen. Moderne AI-systemen voor video-interpolatie gebruiken hiervoor optical flow: een schatting van hoe elk stukje beeld tussen twee opeenvolgende frames is bewogen. Op basis van die bewegingsschatting synthetiseert een neuraal netwerk een compleet nieuw tussenbeeld, inclusief details die er logischerwijs bij horen, zoals schaduwen die meebewegen of een hand die half in beeld verschijnt.
Wat wil men ermee bereiken?
Het eerste en oudste doel is simpel: tijd en werk besparen. Een animator die alleen de belangrijkste standen hoeft te tekenen, hoeft niet elk van de vaak 24 beelden per seconde apart te maken. Dat maakt animatie sneller en goedkoper, zonder dat de kwaliteit per se lijdt.
Een tweede doel is vloeiendere beweging. Games en simulaties draaien op vaste frame rates, en interpolatie zorgt ervoor dat overgangen tussen posities er natuurlijk uitzien in plaats van schoksgewijs.
Bij video speelt een derde motief: framerate-verhoging. Door tussen bestaande videobeelden nieuwe beelden te genereren, kan opgenomen materiaal met een lage framerate omgezet worden naar een vloeiende slowmotion-opname, of kan een film die met 24 beelden per seconde is opgenomen op een tv met hoge ververssnelheid soepeler worden weergegeven.
Een vierde, recentere reden komt uit de wereld van AI-videogeneratie. Het volledig laten genereren van elk los beeld door een AI-model is rekenkundig zwaar en leidt makkelijk tot flikkerende, inconsistente resultaten. Door in plaats daarvan een paar consistente sleutelbeelden te genereren en de tussenliggende beelden te interpoleren, hopen ontwikkelaars rekenkracht te besparen én de video er stabieler uit te laten zien.
Voorbeelden uit de praktijk
De basis van interpolatie in animatie werd al in 1981 beschreven in het boek The Illusion of Life: Disney Animation van Frank Thomas en Ollie Johnston, twee van Disney's oudgediende animators. Hierin staan de zogeheten twaalf principes van animatie, waaronder ‘slow in, slow out’ — nog altijd de basis van de easing-curves in moderne software.
Autodesk Maya, sinds 1998 op de markt (destijds uitgebracht door Alias|Wavefront), geldt als een van de meest gebruikte 3D-animatieprogramma's in film en games en bevat de eerdergenoemde Graph Editor voor keyframe-curves.
Op het gebied van AI-videobewerking publiceerde de Chinese onderzoeksgroep Megvii in 2020 het model RIFE (Real-Time Intermediate Flow Estimation), dat in real time nieuwe videobeelden tussen bestaande beelden kan genereren. Het model is open source en duikt sindsdien op in tal van gratis videotools voor slowmotion-effecten.
Google Research presenteerde in 2022, op de vakconferentie ECCV, het model FILM (Frame Interpolation for Large Motion), dat specifiek is getraind om ook bij grote, snelle bewegingen tussen twee foto's geloofwaardige tussenbeelden te maken — iets waar eerdere modellen op vastliepen.
NVIDIA bracht in september 2022, samen met de RTX 40-serie videokaarten, DLSS 3 uit met een functie genaamd Frame Generation: een AI-model dat in real time extra videogame-beelden verzint tussen de door de game gerenderde beelden, om de ervaren framerate te verhogen zonder dat de grafische kaart al die beelden zelf hoeft te berekenen.
Hoe ver is de techniek?
Klassieke keyframe-interpolatie met curves is volwassen technologie: elk animatiepakket en elke game-engine gebruikt het al tientallen jaren zonder noemenswaardige problemen.
AI-gestuurde video-interpolatie is jonger en verbetert snel, maar heeft nog duidelijke grenzen. Modellen als RIFE en FILM presteren goed bij voorspelbare bewegingen, maar worstelen met snelle, onregelmatige bewegingen, doorzichtige of glanzende objecten, en fijne details zoals haar of tekst. Ook kunnen ze artefacten introduceren wanneer een object dat in het ene beeld nog verborgen was, in het andere beeld plotseling zichtbaar wordt — de software moet dan iets ‘verzinnen’ dat het nooit heeft gezien.
Real-time toepassingen zoals DLSS 3 vragen bovendien om gespecialiseerde hardware (tensor cores) en introduceren een kleine vertraging tussen invoer en beeld, wat in competitieve games als nadeel wordt gezien.
Binnen AI-videogeneratie is temporele consistentie — ervoor zorgen dat details zoals gezichten of logo's niet subtiel veranderen van beeld tot beeld — nog een actief onderzoeksprobleem. Fabrikanten en onderzoeksgroepen delen zelden alle technische details van hun nieuwste videogeneratoren, waardoor van buitenaf niet altijd precies te zeggen is welke rol keyframe-interpolatie in elk specifiek product speelt.
Wie werken eraan?
Grote techbedrijven zetten sterk in op dit veld: Google Research publiceert regelmatig over frame-interpolatiemodellen zoals FILM, NVIDIA integreert AI-interpolatie in zijn grafische kaarten via DLSS, en Adobe verwerkt vergelijkbare technieken in videobewerkingssoftware zoals Premiere Pro en After Effects. Autodesk blijft met Maya de standaard zetten voor traditionele keyframe-animatie in film en games.
Op onderzoeksgebied spelen Chinese instituten en bedrijven, waaronder Megvii (makers van RIFE), een prominente rol, naast universitaire computer-vision-groepen wereldwijd die jaarlijks nieuwe interpolatiemodellen publiceren op conferenties als CVPR en ECCV.
In de AI-videogeneratiehoek werken bedrijven als Stability AI (met Stable Video Diffusion, uitgebracht in november 2023) en Runway aan generatieve modellen die impliciet gebruikmaken van vormen van keyframe- en latent-interpolatie om coherente video te produceren.