Spraak-naar-tekst: hoe computers leren luisteren en meeschrijven
Spraak-naar-tekst, in het Engels 'speech-to-text' of automatische spraakherkenning, is technologie die gesproken taal automatisch omzet in geschreven tekst. Je spreekt in een microfoon en binnen enkele seconden verschijnt er lopende tekst op een scherm, zonder dat er een mens meetypt.
Vergelijk het met een razendsnelle stenograaf die nooit moe wordt, zelden een woord mist en in tientallen talen tegelijk kan meeschrijven. Dat is ongeveer wat spraak-naar-tekst-software doet, alleen zit er geen mens achter maar een computerprogramma dat is getraind op miljoenen uren opgenomen spraak. Je gebruikt deze technologie waarschijnlijk vaker dan je denkt: als je 'Hey Siri' of 'Oké Google' zegt, als YouTube automatisch ondertitels genereert, of als je met je stem een berichtje dicteert in plaats van typt.
Wat is het precies?
Alles begint bij geluid. Een microfoon vangt de trillingen van je stem op als een analoog signaal, dat vervolgens digitaal wordt gemaakt: het geluid wordt tienduizenden keren per seconde 'bemonsterd' (gemeten) en omgezet in een reeks getallen die een computer kan verwerken.
Vroegere systemen, ontwikkeld vanaf de jaren tachtig, werkten met twee aparte onderdelen. Een akoestisch model probeerde stukjes geluid te herkennen als fonemen, de kleinste klankeenheden van een taal (zoals de 'm' in 'man'). Een taalmodel schatte vervolgens welke woordvolgorde het meest waarschijnlijk was, gebaseerd op statistieken over hoe woorden elkaar meestal opvolgen. Deze twee modellen werkten samen als een soort puzzel om van klank naar tekst te komen.
Sinds ongeveer 2012 veranderde dit ingrijpend door de opkomst van deep learning: neural networks, wiskundige modellen die losjes geïnspireerd zijn op hersencellen en die patronen leren herkennen door te oefenen op enorme hoeveelheden voorbeelden. Bij spraakherkenning bestaan die voorbeelden uit gekoppelde audio-opnames en de bijbehorende, correcte tekst: dit heet trainingsdata. Hoe meer en hoe diverser die trainingsdata, hoe beter het systeem later nieuwe, nooit eerder gehoorde spraak kan herkennen.
Moderne systemen zijn meestal 'end-to-end': één neuraal netwerk leert direct de vertaling van geluid naar tekst, zonder de aparte tussenstap van fonemen. Veel recente modellen gebruiken hiervoor zogeheten transformers, dezelfde architectuur die ook achter chatbots als ChatGPT zit. Transformers kunnen door een mechanisme dat 'aandacht' (attention) heet steeds de hele context van een zin meewegen, waardoor ze beter omgaan met dubbelzinnige klanken. Een los onderdeel voegt vervolgens leestekens en hoofdletters toe, iets wat pure spraakherkenning zelf niet 'hoort'.
Wat wil men ermee bereiken?
Het belangrijkste doel is toegankelijkheid. Automatische ondertiteling maakt televisie, video's en vergaderingen te volgen voor mensen die doof of slechthorend zijn, en helpt ook mensen die een taal nog niet vloeiend beheersen.
Daarnaast draait het om efficiëntie: dicteren gaat voor veel mensen sneller dan typen, en in beroepen als de zorg of de advocatuur bespaart het inspreken van dossiers aanzienlijk tijd. Ook handsfree bediening is een drijfveer, bijvoorbeeld in de auto, waar met de stem navigeren veiliger is dan op een scherm tikken.
Een ander doel is het doorzoekbaar maken van audio: podcasts, interviews, rechtszaken en nieuwsarchieven kunnen pas goed worden doorzocht en geanalyseerd als de gesproken inhoud eerst is omgezet in tekst. Tot slot wordt spraak-naar-tekst vaak gecombineerd met automatische vertaling, zodat mensen die verschillende talen spreken elkaar sneller kunnen begrijpen.
Voorbeelden uit de praktijk
OpenAI Whisper (2022) is een opensourcemodel dat getraind is op naar schatting 680.000 uur meertalige audio van het internet. Het model is gratis te gebruiken en aan te passen, en wordt inmiddels breed ingezet door ontwikkelaars, onder meer in ondertitelingstools en transcriptiediensten, mede omdat het relatief goed omgaat met achtergrondgeluid en accenten.
Mozilla Common Voice, gestart in 2017, is een crowdsourced open dataset waarin vrijwilligers over de hele wereld, ook in het Nederlands, zinnen inspreken. Het project moet ervoor zorgen dat ook talen die voor grote techbedrijven minder commercieel interessant zijn, over voldoende trainingsdata beschikken voor onderzoekers en kleinere ontwikkelaars.
Automatische ondertiteling bij Nederlandse omroepen wordt de afgelopen jaren steeds vaker getest voor live-nieuwsuitzendingen, met wisselend succes: bij snel gesproken tekst, dialect of meerdere pratende mensen tegelijk maakt het systeem nog geregeld fouten die een menselijke ondertitelaar zou vermijden.
Google's automatische ondertiteling op YouTube, geleidelijk uitgerold sinds 2009 en sindsdien sterk verbeterd door deep learning, genereert bijschriften onder een groot deel van de miljarden video's op het platform.
Nuance Dragon Medical is dicteersoftware die artsen, ook in Nederlandse ziekenhuizen, gebruiken om patiëntendossiers direct met hun stem in te spreken. Nuance, lange tijd een van de bekendste namen in spraaktechnologie, werd in 2022 overgenomen door Microsoft.
Hoe ver is de techniek?
Sinds de doorbraak van deep learning rond 2012 zijn de prestaties van spraakherkenning sterk verbeterd. Voor goed verstaanbaar Engels halen topmodellen als Whisper een woordfoutpercentage (word error rate, het percentage woorden dat fout wordt herkend) van ruwweg vijf procent, wat in de buurt komt van wat menselijke transcribenten fout doen.
Voor het Nederlands en veel andere talen met minder beschikbare trainingsdata liggen de foutpercentages doorgaans hoger. Ook blijven hardnekkige knelpunten bestaan: sterke dialecten en accenten, meerdere mensen die door elkaar praten, rumoerige omgevingen, vakjargon en het correct plaatsen van leestekens leveren nog geregeld fouten op.
Het onderscheiden van wie precies wat zegt in een gesprek met meerdere sprekers, 'speaker diarization' genoemd, is een apart en nog niet volledig opgelost probleem. Live transcriptie, terwijl iemand nog aan het praten is, blijft bovendien technisch lastiger dan het achteraf verwerken van een opname, omdat een systeem dan niet kan 'vooruitluisteren' binnen een zin om onduidelijkheden op te lossen.
Een terugkerend punt van zorg is privacy: veel commerciële spraakherkenners sturen audio naar servers in de cloud, wat vragen oproept over waar gevoelige gesprekken, bijvoorbeeld medische of juridische, worden opgeslagen en verwerkt. Mede daarom werken fabrikanten aan modellen die volledig lokaal op een telefoon of computer draaien, zonder internetverbinding.
Wie werken eraan?
Grote techbedrijven investeren fors in spraaktechnologie. OpenAI ontwikkelde Whisper, Google biedt zijn Speech-to-Text-dienst aan via Google Cloud, en Amazon heeft een vergelijkbare dienst genaamd Transcribe. Microsoft nam in 2022 Nuance over, lange tijd toonaangevend in dicteersoftware voor de zorg. Meta doet fundamenteel onderzoek naar spraakmodellen zoals wav2vec.
Naast commerciële partijen speelt Mozilla met het open Common Voice-project een rol in het beschikbaar maken van trainingsdata buiten de grote bedrijven om.
Op academisch vlak doet het Centre for Language and Speech Technology (CLST) van de Radboud Universiteit in Nijmegen gericht onderzoek naar Nederlandse spraakherkenning. Ook de Universiteit Twente en TNO zijn in Nederland betrokken bij toegepast taal- en spraakonderzoek, terwijl instituten als MIT in de Verenigde Staten bijdragen aan het fundamentele onderzoek achter de huidige modellen.