Livevertaling: hoe realtime automatische vertaling werkt
Stel je voor: je staat in een kruidenierswinkel in Osaka en wilt vragen of er glutenvrij brood is. Je spreekt de zin in je telefoon of oordopjes in, en binnen een paar seconden klinkt er Japans uit een speaker of hoor je een Nederlandse stem terugkomen zodra de winkelier antwoordt. Dat is livevertaling: het automatisch en (bijna) direct vertalen van gesproken taal, zonder dat er een menselijke tolk bij nodig is.
De term duikt steeds vaker op in nieuwsberichten over slimme oordopjes, videobelapps en zelfs brillen die ondertiteling in je gezichtsveld projecteren. Het idee is niet nieuw — tolken bestaan al eeuwen — maar de belofte van livevertaling is dat software het werk overneemt, sneller en goedkoper, en straks misschien net zo goed als een professionele tolk. Of dat laatste al waar is, is een van de vragen die dit artikel probeert te beantwoorden.
Wat is het precies?
Livevertaling is meestal geen los, magisch proces, maar een keten van meerdere technieken die na elkaar (of steeds meer: tegelijk) worden uitgevoerd.
De eerste stap heet automatische spraakherkenning, in het Engels automatic speech recognition (ASR). Een algoritme luistert naar geluid en zet dat om in geschreven tekst, ongeveer zoals dicteersoftware dat doet. Deze stap is al foutgevoelig: achtergrondgeluid, accenten of snel praten kunnen de herkenning laten struikelen.
Daarna volgt machinevertaling: de herkende tekst wordt omgezet naar de doeltaal. Vrijwel alle moderne systemen gebruiken hiervoor neurale netwerken, vaak gebaseerd op de zogeheten transformer-architectuur — hetzelfde type model dat ook achter chatbots als ChatGPT zit. Deze modellen zijn getraind op enorme hoeveelheden tekst in meerdere talen en 'leren' zo statistische patronen tussen talen herkennen.
Als het resultaat weer gesproken moet worden, komt er een derde stap bij: tekst-naar-spraak (text-to-speech, TTS), die de vertaalde tekst omzet in een gesynthetiseerde stem. Sommige systemen proberen zelfs de originele stem en intonatie van de spreker te imiteren.
Recent onderzoek probeert deze drie stappen samen te voegen tot één end-to-end spraak-naar-spraak model, dat direct van gesproken taal naar gesproken taal vertaalt zonder de tussenstap van geschreven tekst. Dat kan sneller zijn en fouten die zich anders opstapelen tussen de stappen verminderen, maar vereist wel veel meer trainingsdata per taalcombinatie.
Een fundamentele spanning bij al deze systemen is die tussen latency (de vertraging tussen spreken en vertaling) en nauwkeurigheid. Hoe langer een systeem wacht — bijvoorbeeld tot het einde van een zin — hoe meer context het heeft en hoe beter de vertaling meestal is. Maar wachten kost tijd, en bij een levendig gesprek wil niemand steeds seconden stilte. Dit verklaart het verschil tussen consecutieve vertaling, waarbij gewacht wordt tot een spreker een zin of alinea heeft afgerond, en simultane of streaming vertaling, waarbij het systeem al begint te vertalen terwijl de spreker nog aan het woord is — net zoals professionele simultaantolken bij de Verenigde Naties doen, maar dan automatisch.
Wat wil men ermee bereiken?
De belangrijkste belofte van livevertaling is het wegnemen van taalbarrières in alledaagse situaties: op reis, in de zorg, bij zakelijke onderhandelingen of bij noodhulp waar snel duidelijkheid nodig is tussen hulpverleners en slachtoffers die geen gemeenschappelijke taal spreken.
Daarnaast speelt toegankelijkheid een grote rol. Live ondertiteling met vertaling kan doven en slechthorenden helpen een gesprek of uitzending in een andere taal te volgen, iets waar organisaties als omroepen en onderwijsinstellingen steeds meer in investeren.
Op grotere schaal hopen overheden en internationale organisaties dat betere automatische vertaling samenwerking vergemakkelijkt: van internationale vergaderingen tot grensoverschrijdend onderwijs, waarbij studenten colleges in hun eigen taal kunnen volgen terwijl de docent in een andere taal spreekt.
Voorbeelden uit de praktijk
Een paar concrete projecten illustreren hoe de technologie zich heeft ontwikkeld:
- Skype Translator (Microsoft, 2014): een van de eerste breed beschikbare pogingen om videogesprekken automatisch en bijna live te vertalen, met ondertiteling en gesproken vertaling tijdens het bellen.
- Google Pixel Buds (2017, met latere updates): oordopjes die in combinatie met een Android-telefoon gesproken vertalingen influisteren, gebruikmakend van Google Translate op de achtergrond.
- Waverly Labs Pilot (crowdfunding in 2016, levering vanaf 2017): een van de eerste via crowdfunding gefinancierde 'vertaaloordopjes', die veel media-aandacht kregen maar ook kritiek op de nauwkeurigheid in de praktijk.
- Meta's SeamlessM4T (onderzoeksmodel, gepresenteerd in 2023): een open-source AI-model dat spraak en tekst in tientallen talen direct kan vertalen, inclusief experimentele spraak-naar-spraak vertaling; dit onderzoek vormt mede de basis voor livevertaalfuncties die Meta vanaf 2024 test in zijn Ray-Ban Meta slimme brillen.
- Samsung Galaxy AI — Live Translate Call (geïntroduceerd in 2024): een functie in bepaalde Galaxy-telefoons die telefoongesprekken deels op het apparaat zelf (dus niet altijd via de cloud) live vertaalt, wat Samsung presenteert als voordeel voor privacy en snelheid.
Hoe ver is de techniek?
Sinds de overstap van oudere, regelgebaseerde vertaalsystemen naar neurale netwerken (vanaf ongeveer 2016) en de recente opkomst van grote taalmodellen is de kwaliteit van machinevertaling flink verbeterd, en is de vertraging bij livevertaling teruggebracht van tientallen seconden naar doorgaans een paar seconden.
Toch zijn er duidelijke grenzen. Sterke accenten, dialecten en informele spreektaal blijven notoir lastig voor spraakherkenning. Achtergrondgeluid en meerdere mensen die door elkaar praten verstoren de herkenning sterk. Ook idioom, humor, sarcasme, toon en emotie worden vaak plat of verkeerd vertaald, omdat modellen taal statistisch benaderen zonder echt 'begrip' van context of intentie.
Een ander knelpunt is het verschil tussen talen met veel digitale tekst- en spraakdata (zoals Engels, Spaans of Mandarijn) en zogeheten lage-resource talen, talen waarvoor weinig getrainingsmateriaal beschikbaar is. Voor die laatste groep blijft de kwaliteit van livevertaling merkbaar achter.
Voor situaties waar precisie cruciaal is — juridische procedures, medische spoedzorg, diplomatieke onderhandelingen — wordt automatische vertaling vandaag nog niet als vervanging voor professionele, menselijke simultaantolken gezien. Fouten kunnen daar te grote gevolgen hebben.
Er loopt verder een discussie over waar de vertaling wordt verwerkt: in de cloud (op externe servers, vaak krachtiger maar met vragen over wat er met de opgenomen spraak gebeurt) of on-device (op het apparaat zelf, doorgaans privacyvriendelijker en met minder vertraging, maar met minder rekenkracht beschikbaar). Fabrikanten als Samsung en Apple benadrukken de laatste jaren steeds meer on-device verwerking als verkoopargument.
Wie werken eraan?
De grote techbedrijven Google, Microsoft, Meta en Samsung investeren fors in livevertaling, elk met eigen apps, oordopjes of telefoonfuncties. DeepL, vooral bekend van tekstvertaling, breidt zijn technologie geleidelijk uit richting gesproken taal.
Daarnaast zijn er kleinere, gespecialiseerde hardwarebedrijven zoals Timekettle en Waverly Labs, die zich specifiek richten op vertaaloordopjes en -apparaten voor reizigers.
Op onderzoeksgebied speelt Carnegie Mellon University in de Verenigde Staten een historische rol; onderzoeker Alex Waibel werkt al sinds de jaren negentig aan simultane spraakvertaling en wordt vaak gezien als pionier van het vakgebied. Ook het Karlsruhe Institute of Technology in Duitsland is al decennialang actief op dit terrein, mede door samenwerking met Waibel. In Japan doet het National Institute of Information and Communications Technology (NICT) onderzoek naar meertalige spraaktechnologie, en binnen de Europese Unie lopen diverse door de EU gefinancierde taaltechnologie-initiatieven die zich richten op meertalige communicatie tussen lidstaten.