Beurtwisselingslatentie: waarom een seconde stilte een AI-gesprek onnatuurlijk maakt
Praat je met een vriend, dan wacht je zelden lang voor je antwoordt. Taalkundig onderzoek naar telefoongesprekken laat zien dat de gemiddelde pauze tussen het einde van de ene spreekbeurt en het begin van de volgende in de meeste talen rond de tweehonderd milliseconden ligt — sneller dan de tijd die je brein nodig heeft om een compleet nieuwe zin te bedenken. Kennelijk beginnen we al te plannen terwijl de ander nog aan het woord is. Die soepele overgang van spreker heet in de taalwetenschap 'turn-taking', in het Nederlands beurtwisseling. De tijd die daarbij verstrijkt, noemen onderzoekers de beurtwisselingslatentie.
Bij spraaktechnologie — een slimme speaker, een telefonische AI-assistent, of een chatbot waarmee je praat in plaats van typt — draait het om dezelfde vertraging, maar dan omgekeerd: hoe lang duurt het voordat het systeem reageert nadat jij bent uitgesproken? Bij veel bestaande spraakassistenten is dat een halve tot twee seconden, en dat voelt merkbaar log aan, alsof je gesprekspartner steeds moet nadenken voor hij iets zegt. Beurtwisselingslatentie is daarom een van de hardnekkigste technische knelpunten in de race om spraak-AI te laten aanvoelen als een echt gesprek, in plaats van een reeks commando's gevolgd door antwoorden.
Wat is het precies?
Om te begrijpen waarom die vertraging ontstaat, helpt het om te kijken naar hoe een klassiek spraaksysteem is opgebouwd. Zo'n systeem doorloopt doorgaans drie stappen na elkaar.
Eerst zet automatische spraakherkenning (ASR, van 'automatic speech recognition') het gesproken geluid om in tekst. Vervolgens verwerkt een taalmodel die tekst en bepaalt wat het antwoord moet zijn. Tot slot zet een tekst-naar-spraakmodule (TTS, 'text-to-speech') dat antwoord weer om in gesproken taal. Elke stap kost tijd, en de stappen wachten doorgaans op elkaar: pas als de herkenning klaar is, kan het taalmodel beginnen, en pas als het antwoord er is, kan de spraak worden gegenereerd.
Een tweede probleem is weten wanneer iemand daadwerkelijk klaar is met praten. Dat heet 'endpointing' of eindpuntdetectie. Een systeem dat te snel concludeert dat je uitgesproken bent, onderbreekt je; een systeem dat te voorzichtig is, laat een pijnlijke stilte vallen. Traditioneel gebruiken systemen hiervoor 'voice activity detection' (VAD): simpelweg een stukje stilte van bijvoorbeeld zevenhonderd milliseconden als signaal dat de beurt voorbij is. Mensen doen dit veel slimmer: we letten op intonatie, zinsbouw en zelfs ademhaling om te voorspellen wanneer iemand klaar is, soms al voordat de laatste lettergreep is uitgesproken.
Nieuwere systemen proberen deze knelpunten aan te pakken door de pijplijn te vervangen door Ă©Ă©n doorlopend model dat audio continu binnenkrijgt Ă©n continu kan produceren, zonder strikt te wachten tot de ene stap klaar is voordat de volgende begint. Dat heet een 'full-duplex' architectuur, naar analogie met telefoonlijnen waarop beide partijen tegelijk kunnen praten en luisteren. Zulke modellen kunnen al beginnen met formuleren terwijl de gebruiker nog spreekt, en kunnen in theorie ook omgaan met onderbrekingen, net als mensen dat doen.
Wat wil men ermee bereiken?
Het uiteindelijke doel is simpel te omschrijven: een gesprek met een machine dat niet aanvoelt als een gesprek mét een machine. Zolang de vertraging merkbaar afwijkt van wat we van een mens gewend zijn, blijft de illusie van een natuurlijk gesprek breken, hoe goed de inhoud van de antwoorden ook is.
Daarachter zitten praktische belangen. Voor spraakassistenten en klantenservicebots betekent een kortere, natuurlijkere latentie dat gebruikers minder snel afhaken of gefrustreerd raken. Voor toepassingen zoals taallessen, gespreksoefeningen of hulpmiddelen voor mensen met een visuele beperking is een vloeiend gesprek niet alleen prettiger, maar ook functioneel belangrijker: horen en reageren is dan vaak het enige beschikbare kanaal.
Er is ook een verdergaande ambitie: systemen die niet alleen sneller reageren, maar die de subtiliteit van menselijke beurtwisseling nabootsen — elkaar kort in de rede vallen, hummen ('mm-hm') terwijl de ander praat, of juist bewust een korte stilte laten vallen als teken van nadenken. Dat vereist niet alleen snelheid, maar ook een soort gevoel voor gespreksdynamiek, iets waar spraaktechnologie van oudsher zwak in was omdat taalmodellen van origine alleen tekst kennen, geen timing.
Voorbeelden uit de praktijk
Een aantal recente projecten laat zien hoe dit onderzoeksveld zich vertaalt naar concrete producten.
OpenAI's GPT-4o (aangekondigd in mei 2024) introduceerde een spraakmodus die audio rechtstreeks verwerkt, zonder tussenstap via tekst. Volgens OpenAI's eigen cijfers bij de lancering lag de gemiddelde responstijd rond de driehonderd milliseconden, in dezelfde orde van grootte als menselijke reactietijden in gesprekken. Onafhankelijke metingen in de praktijk komen doorgaans wat hoger uit, afhankelijk van netwerk en belasting.
Moshi, ontwikkeld door het Franse onderzoeksinstituut Kyutai en gepresenteerd in 2024, is een volledig 'full-duplex' spraakmodel dat continu luistert Ă©n spreekt via twee parallelle audiostromen. Kyutai claimt een theoretische latentie van ongeveer tweehonderd milliseconden en maakte delen van het model en de onderliggende code openbaar, wat het voor andere onderzoekers mogelijk maakte om het systeem te toetsen en erop voort te bouwen.
Google DeepMind's Project Astra, voor het eerst getoond in 2024 en sindsdien in delen uitgerold via Gemini Live, richt zich eveneens op vloeiende, onderbreekbare spraakinteractie met lage vertraging, als onderdeel van een bredere multimodale assistent die ook camerabeeld kan verwerken.
Op wetenschappelijk vlak legde onderzoek van taalkundigen verbonden aan het Max Planck Instituut voor PsycholinguĂŻstiek in Nijmegen, gepubliceerd rond 2015, een belangrijke basis: een cross-linguĂŻstische studie naar telefoongesprekken in ongeveer tien talen liet zien dat de gemiddelde beurtwisseling wereldwijd rond de tweehonderd milliseconden ligt, met relatief kleine culturele verschillen. Dit cijfer wordt sindsdien vaak als referentiepunt gebruikt waarmee spraaktechnologie zichzelf vergelijkt.
Ook academische onderzoeksgroepen die zich specifiek richten op gesproken dialoogsystemen, onder meer aan de KTH in Stockholm, werken al langer aan modellen die beurtwisseling proberen te voorspellen op basis van intonatie en zinsstructuur, in plaats van simpelweg te wachten op stilte — werk dat mede aan de basis ligt van modernere endpointing-technieken.
Hoe ver is de techniek?
De vooruitgang is de afgelopen twee tot drie jaar snel gegaan, maar het probleem is niet opgelost. Onder gecontroleerde omstandigheden — een rustige ruimte, een duidelijke spreker, een kort verzoek — kunnen de nieuwste systemen reactietijden halen die in de buurt komen van menselijke gesprekken. Dat is een flinke sprong ten opzichte van de anderhalve tot twee seconden die veel oudere spraakassistenten nodig hadden.
Buiten de gecontroleerde demo's blijft het lastiger. Achtergrondgeluid, meerdere sprekers door elkaar, accenten, complexere vragen die meer verwerkingstijd van het taalmodel vergen, en netwerkvertraging bij systemen die in de cloud draaien, zorgen er vaak voor dat de daadwerkelijke latentie in het dagelijks gebruik hoger uitvalt dan de gepubliceerde cijfers suggereren. Er is bovendien een spanningsveld tussen snelheid en betrouwbaarheid: een systeem dat te snel concludeert dat de gebruiker is uitgesproken, onderbreekt mensen die alleen even nadenken, vooral bij sprekers met een afwijkend pauzeringspatroon.
Een ander obstakel is dat volledig 'duplex' spreken — tegelijk luisteren én genereren — meer rekenkracht en specifiekere architecturen vergt dan de klassieke pijplijn. Dat maakt zulke systemen duurder om te draaien en lastiger op te schalen naar miljoenen gebruikers tegelijk, wat verklaart waarom veel commerciële producten nog een hybride aanpak gebruiken: aanzienlijk sneller dan enkele jaren geleden, maar niet volledig continu.
Kortom: de techniek heeft duidelijk een versnelling doorgemaakt, met de publieke introductie van full-duplex modellen als Moshi en de spraakmodus van GPT-4o als recente mijlpalen. Maar mensachtige latentie onder alle omstandigheden en op grote schaal is nog geen gangbare standaard, eerder een doel waar het veld naartoe werkt.
Wie werken eraan?
Het onderzoek en de ontwikkeling zijn verspreid over grote techbedrijven, gespecialiseerde start-ups en academische instituten.
Bij de grote spelers vallen OpenAI en Google DeepMind op met eigen spraakmodellen en publieke aankondigingen over latentie. Meta, Amazon en Apple investeren eveneens in vergelijkbare technologie, onder meer voor respectievelijk hun eigen assistenten en Alexa en Siri, al zijn zij doorgaans terughoudender met het delen van technische details en exacte cijfers.
Onder de kleinere, gespecialiseerde spelers is het Franse onderzoekslab Kyutai, opgericht in 2023, een opvallende naam vanwege de relatief open publicatie van Moshi. Ook een aantal jongere start-ups profileert zich specifiek rond natuurlijke, laag-latente spraakinteractie als onderscheidend kenmerk ten opzichte van grotere, meer algemene AI-aanbieders.
Op academisch gebied blijft het Max Planck Instituut voor Psycholinguïstiek in Nijmegen een belangrijk referentiepunt voor fundamenteel onderzoek naar menselijke beurtwisseling, terwijl technische universiteiten met onderzoeksgroepen voor spraaktechnologie — waaronder de KTH in Stockholm — al langer bijdragen aan endpointing- en dialoogmodellen. Veel van dit werk wordt gepubliceerd op vakconferenties als Interspeech en ACL, en steeds vaker voorgepubliceerd via open archieven zoals arXiv.