Spraak-naar-lipsynchronisatie: hoe AI mondbewegingen laat kloppen met geluid
Wie ooit een slecht nagesynchroniseerde film heeft gezien, kent het probleem meteen: de acteur zegt duidelijk iets anders dan wat er uit de speakers komt. De mond beweegt door, terwijl de zin allang is afgelopen, of andersom. Spraak-naar-lipsynchronisatie is de technologie die dit probleem probeert op te lossen door met kunstmatige intelligentie de mondbewegingen in beeld automatisch aan te passen aan een gesproken tekst, zodat het lijkt alsof iemand daadwerkelijk die woorden uitspreekt.
Denk aan een poppenspeler die de mond van een handpop precies laat meebewegen met een verhaal dat wordt voorgelezen. Vroeger deed een animator dat met de hand, frame voor frame. Nu leert een computerprogramma zelf, op basis van duizenden uren video, welke mondstand bij welk geluid hoort, en past het de lippen van een echt gefilmd gezicht digitaal aan. Dat gebeurt niet alleen bij filmdub, maar ook bij virtuele presentatoren, digitale avatars in trainingsvideo's en zelfs bij het 'live' vertalen van iemands gezicht naar een andere taal terwijl de stem hetzelfde blijft klinken.
Wat is het precies?
De basis van spraaksynchronisatie ligt in twee bouwstenen uit de taalkunde: fonemen en visemen. Een foneem is de kleinste eenheid van klank in gesproken taal, zoals de 'm' in 'moeder'. Een viseem is de mondstand die bij (een groep van) zulke klanken hoort. Meerdere fonemen kunnen dezelfde mondstand opleveren; de 'p' en de 'b' klinken anders, maar zien er op de lippen bijna identiek uit.
Een lipsync-systeem begint met het analyseren van een audiofragment: welke klanken komen wanneer voor, en hoe lang duren ze? Vervolgens voorspelt een neuraal netwerk, een computermodel dat is getraind op grote hoeveelheden voorbeelddata, welke mondvorm bij elk moment hoort. Dat model heeft tijdens de training miljoenen frames van pratende gezichten gezien, gekoppeld aan het bijbehorende geluid, en heeft zo geleerd welk verband er bestaat tussen klank en mondbeweging.
Bij de daadwerkelijke synthese, het genereren van de nieuwe beelden, zijn er grofweg twee benaderingen. De eerste werkt direct op pixels: het model tekent als het ware de mondregio van een bestaande videoframe opnieuw, zodat die past bij het nieuwe geluid, terwijl de rest van het gezicht (ogen, wangen, haar) ongewijzigd blijft. Dit gebeurt vaak met een generative adversarial network (GAN), een systeem van twee samenwerkende netwerken waarbij het ene nieuwe beelden genereert en het andere probeert te ontdekken of die beelden echt of nagemaakt zijn; door die wedstrijd worden de gegenereerde beelden steeds overtuigender. Recentere systemen gebruiken ook wel diffusiemodellen, dezelfde technologie die achter veel AI-beeldgeneratoren zit, waarbij een beeld stap voor stap wordt opgebouwd uit ruis.
De tweede benadering werkt met een 3D-model van het gezicht: een digitaal skelet met bewegende onderdelen (blendshapes) voor kaak, lippen en wangen, dat wordt aangestuurd door de voorspelde visemen en vervolgens over het gezicht wordt geprojecteerd of gerenderd. Deze aanpak geeft meer controle, bijvoorbeeld over de hoek waaronder iemand wordt gefilmd, maar vraagt doorgaans meer rekenkracht en een preciezer opgebouwd model vooraf.
Wat wil men ermee bereiken?
Het belangrijkste doel is het wegnemen van de storende mismatch tussen beeld en geluid bij nasynchronisatie. Wanneer een film of serie in een andere taal wordt ingesproken, blijft de originele mondbeweging normaal gesproken ongewijzigd, wat kijkers als onnatuurlijk ervaren. Als de lippen automatisch worden aangepast aan de nieuwe taal, kan een productie wereldwijd worden uitgebracht zonder dat kijkers voortdurend worden herinnerd aan het feit dat ze naar een vertaling kijken.
Daarnaast speelt kostenbesparing een grote rol. Traditionele nasynchronisatie en vooral heropnames met acteurs zijn tijdrovend en duur. Als AI een groot deel van het aanpassingswerk automatisch kan doen, kunnen studio's sneller en goedkoper content in meerdere talen uitbrengen.
Een derde motivatie ligt bij digitale avatars en virtuele presentatoren: bedrijven willen trainingsvideo's, nieuwsupdates of marketingcontent laten presenteren door een digitale spreker zonder dat daarvoor telkens een cameraopname nodig is. Overtuigende lipsynchronisatie is daarbij essentieel, want een avatar met een mond die niet goed matcht, oogt al snel onnatuurlijk en ondermijnt het vertrouwen van de kijker.
Ten slotte wordt de technologie ook toegepast in toegankelijkheid, bijvoorbeeld bij het genereren van gebarentaal-avatars of bij het maken van lesmateriaal in meerdere talen voor onderwijs op afstand.
Voorbeelden uit de praktijk
Een van de vroegste invloedrijke onderzoeken kwam in 2017 van de University of Washington, waar onderzoekers een systeem presenteerden dat archiefbeelden van Barack Obama gebruikte om nieuwe, realistische mondbewegingen te genereren bij willekeurige nieuwe audio-opnames, bekend geworden als het 'Synthesizing Obama'-onderzoek. Het liet voor het eerst op overtuigende wijze zien dat spraak-naar-lipsynthese op videobeeld van een bestaand persoon mogelijk was.
In 2020 publiceerde de onderzoeksgroep CVIT van het Indiase instituut IIIT Hyderabad het model Wav2Lip, dat een lipsync-detector gebruikte om de kwaliteit van gegenereerde mondbewegingen te beoordelen tijdens de training. Wav2Lip werd, mede doordat de code openbaar werd gedeeld, een veelgebruikte basis voor latere onderzoeks- en commerciële toepassingen.
Het Britse bedrijf Synthesia, opgericht in 2017 in Londen, biedt een platform waarmee gebruikers tekst kunnen laten voordragen door een digitale avatar, inclusief passende lipsynchronisatie, en wordt onder meer gebruikt voor bedrijfstrainingen en marketingvideo's in meerdere talen.
Het bedrijf Flawless AI, met een technologie die het zelf 'TrueSync' noemt, richt zich specifiek op het aanpassen van mondbewegingen bij filmnasynchronisatie, zodat een buitenlandse dub er visueel natuurlijker uitziet. Het bedrijf werkt met filmstudio's aan het lokaliseren van producties voor internationale releases.
Het Israëlische bedrijf Deepdub combineert AI-stemsynthese met lipsynchronisatie om series en films sneller in meerdere talen beschikbaar te maken, met als doel de traditionele dubbingpijplijn te versnellen.
Hoe ver is de techniek?
De kwaliteit van lipsync-modellen is sinds 2020 sterk verbeterd, vooral bij frontaal gefilmde gezichten in goed belichte omstandigheden. Voor dat soort 'makkelijke' situaties is het resultaat vaak al moeilijk van echt te onderscheiden voor een gemiddelde kijker.
Toch zijn er nog duidelijke beperkingen. Snelle sprekers, extreme gezichtsuitdrukkingen, zijaanzichten, bewegende camera's of objecten die deels voor de mond hangen (zoals een hand of microfoon) leveren nog regelmatig zichtbare fouten op. Ook langere video's blijven lastig, omdat kleine onnauwkeurigheden per frame zich opstapelen en de aandacht van de kijker trekken.
Een ander obstakel is niet-technisch maar ethisch: dezelfde technologie die dubbing natuurlijker maakt, is in essentie ook de basis van 'deepfake'-video's waarin iemand woorden in de mond worden gelegd die diegene nooit heeft gezegd. Onderzoekers en bedrijven investeren daarom ook in detectiemethoden om gemanipuleerde video te herkennen, en sommige aanbieders werken met watermerken of toestemmingsvereisten om misbruik te beperken. Wetgevers in onder meer de Europese Unie en de Verenigde Staten buigen zich over regels voor het labellen van AI-gegenereerde media.
Commercieel bevindt de technologie zich in een fase waarin ze al wordt ingezet, maar nog niet overal foutloos werkt: filmstudio's en videoplatforms gebruiken het voor specifieke, gecontroleerde toepassingen, terwijl volledig automatische, foutloze verwerking van willekeurige beeldmateriaal nog niet is bereikt.
Wie werken eraan?
Op onderzoeksgebied hebben universiteiten een belangrijke rol gespeeld, waaronder de University of Washington (VS) met vroeg pionierswerk, en het Centre for Visual Information Technology (CVIT) aan IIIT Hyderabad (India), bekend van Wav2Lip. Ook onderzoeksafdelingen van grote techbedrijven, zoals Meta AI en Google DeepMind, publiceren regelmatig over aanverwante technieken op het gebied van gezichtssynthese en spraakgestuurde animatie.
Op het commerciële vlak zijn Synthesia (Verenigd Koninkrijk) en Flawless AI (Verenigd Koninkrijk/Verenigde Staten) bekende namen in respectievelijk AI-avatars en filmdubbing, terwijl Deepdub (Israël) zich richt op AI-ondersteunde nasynchronisatie voor streamingcontent. Daarnaast zijn er diverse nieuwere spelers die tekst-naar-video en vertaal-lipsync combineren voor bedrijfsvideo's en sociale media.
Landen die opvallend actief zijn op dit gebied zijn de Verenigde Staten en het Verenigd Koninkrijk (veel start-ups en academisch onderzoek), India (sterke universitaire onderzoeksgroepen op het gebied van computer vision) en Israël (een cluster van AI-mediastart-ups). Ook in de EU groeit de belangstelling, mede gedreven door de wens om Europese content makkelijker over taalgrenzen heen te verspreiden.