Woordfoutpercentage: hoe meet je of een computer je goed verstaat?
Stel je voor: een leraar dicteert een stuk tekst en een leerling schrijft op wat hij hoort. Achteraf legt de leraar het opschrijfwerk naast de originele tekst en telt de fouten: woorden die verkeerd zijn overgenomen, woorden die zijn weggevallen en woorden die de leerling erbij heeft verzonnen. Het percentage fouten ten opzichte van het totale aantal woorden in de originele tekst is een directe voorloper van wat in de spraaktechnologie het woordfoutpercentage heet, in het Engels Word Error Rate of WER.
Bij spraakherkenning speelt de computer de rol van de leerling. Een systeem als Siri, Google Assistent of een ondertitelingsprogramma luistert naar gesproken taal en zet die om in tekst. Om te weten hoe goed dat systeem is, vergelijken onderzoekers de door de computer gegenereerde tekst met een menselijk gemaakte, correcte transcriptie. Het woordfoutpercentage drukt in één simpel getal uit hoeveel procent van de woorden fout ging. Hoe lager het percentage, hoe beter het systeem luistert.
Wat is het precies?
Het woordfoutpercentage wordt berekend met een formule die drie soorten fouten meeweegt. Ten eerste substituties: een woord dat is verward met een ander woord, bijvoorbeeld wanneer 'strand' wordt herkend als 'strak'. Ten tweede deleties: een woord dat helemaal wordt overgeslagen, bijvoorbeeld wanneer 'niet' uit een zin verdwijnt, wat de betekenis compleet kan omdraaien. Ten derde inserties: een woord dat de computer erbij verzint terwijl het er in het origineel niet stond.
De formule telt deze drie soorten fouten op en deelt de som door het totale aantal woorden in de originele, correcte tekst. Het resultaat wordt meestal als percentage uitgedrukt. Een WER van 5 procent betekent dus dat gemiddeld 5 van elke 100 woorden fout zijn herkend, weggevallen of toegevoegd.
Om dit getal te bepalen, gebruiken onderzoekers een techniek die oorspronkelijk uit de informatica komt en bekendstaat als de Levenshtein-afstand: het minimale aantal bewerkingen dat nodig is om de ene tekst in de andere te veranderen. Een computeralgoritme lijnt de herkende tekst en de referentietekst woord voor woord tegen elkaar uit en zoekt de goedkoopste route van fouten om van de ene naar de andere zin te komen.
Een belangrijk detail is dat niet elke fout even zwaar weegt. Het weglaten van het woordje 'niet' telt in de formule net zo zwaar als het verkeerd verstaan van een onbelangrijk stopwoord, terwijl het effect op de betekenis van de zin totaal anders is. WER is dus een technische, statistische maatstaf en geen directe meting van hoe begrijpelijk of bruikbaar een transcriptie in de praktijk is. Voor talen zonder duidelijke woordgrenzen, zoals Mandarijn, gebruikt men vaak een variant op tekenniveau: het Character Error Rate (CER), dat dezelfde logica toepast maar dan per letter of teken in plaats van per woord.
Wat wil men ermee bereiken?
Het doel van het woordfoutpercentage is simpel: onderzoekers en bedrijven willen spraakherkenningssystemen onderling en over tijd kunnen vergelijken op een eerlijke, reproduceerbare manier. Zonder een gestandaardiseerde maatstaf zou elke fabrikant zijn eigen systeem op zijn eigen manier 'goed' kunnen noemen, zonder dat iemand dat kan controleren.
Door dezelfde testset met opnames en referentieteksten te gebruiken, kunnen twee systemen eerlijk tegen elkaar worden afgezet. Dit maakt WER onmisbaar bij wetenschappelijke publicaties, bij benchmarks waarin bedrijven met elkaar concurreren, en bij de ontwikkeling van nieuwe modellen: onderzoekers passen een systeem aan en meten vervolgens of de WER daalt.
Daarnaast heeft de metriek een praktisch doel voor toepassingen zoals ondertiteling, dicteersoftware, spraakgestuurde assistenten en transcriptiediensten voor bijvoorbeeld rechtbanken of ziekenhuizen. Een lage WER is een indicatie, al is het geen garantie, dat gebruikers minder handmatig hoeven te corrigeren en dat een systeem betrouwbaar genoeg is voor serieus gebruik.
Voorbeelden uit de praktijk
Een van de bekendste testverzamelingen is Switchboard, een corpus van Engelstalige telefoongesprekken dat al sinds de jaren negentig door het Amerikaanse standaardeninstituut NIST wordt gebruikt om spraakherkenners te vergelijken. In 2017 meldde Microsoft een WER van 5,1 procent op dit corpus, een niveau dat destijds werd omschreven als vergelijkbaar met menselijke transcribenten. Latere analyses plaatsten kanttekeningen bij deze vergelijking, omdat professionele menselijke transcribenten onder betere omstandigheden vaak nog nauwkeuriger werken.
LibriSpeech, gepubliceerd in 2015 door onderzoekers als Vassil Panayotov, is een gratis, openbaar corpus van circa duizend uur voorgelezen Engelstalige audioboeken en wordt sindsdien wereldwijd gebruikt als standaardbenchmark. Systemen worden getest op een 'clean' deelverzameling met duidelijke spraak en een lastigere 'other' deelverzameling met meer ruis en accentvariatie, waarbij de WER-scores flink uiteenlopen.
Mozilla's Common Voice, gestart in 2017, is een crowdsourced, meertalig spraakcorpus waarmee ook minder gangbare talen en dialecten, waaronder het Nederlands, hun eigen benchmarkdata kregen. Dit project ontstond juist omdat commerciële systemen voor kleinere talen lange tijd een veel hoger woordfoutpercentage lieten zien dan voor het Engels.
OpenAI's Whisper, uitgebracht in 2022, is getraind op 680.000 uur meertalige audio van het internet en publiceerde WER-cijfers over tientallen talen tegelijk, wat liet zien hoe groot de verschillen tussen talen nog altijd zijn: voor goed gedocumenteerde talen als Engels en Spaans lag de WER veel lager dan voor talen met minder trainingsdata.
Voor het Nederlands is het Corpus Gesproken Nederlands (CGN), een project van de Nederlandse Taalunie en het Instituut voor de Nederlandse Taal, al sinds het begin van deze eeuw een belangrijke bron van getranscribeerde spraak waarop Nederlandstalige spraakherkenners worden getraind en getest.
Hoe ver is de techniek?
Voor goed gedocumenteerde talen zoals Engels is de WER van state-of-the-art systemen de afgelopen tien jaar sterk gedaald, van waarden boven de 20 procent begin jaren 2010 naar enkele procenten op schone testdata nu. Deze vooruitgang komt vooral door de overstap van klassieke, op regels en statistiek gebaseerde systemen naar diepe neurale netwerken, en recent naar grote, op enorme hoeveelheden data getrainde modellen zoals Whisper en vergelijkbare systemen van Google en Meta.
Toch blijven er duidelijke obstakels. De WER stijgt sterk bij achtergrondgeluid, overlappende sprekers, sterke accenten, dialecten, medisch of technisch vakjargon en spontane, informele spraak met haperingen. Voor talen met minder digitale trainingsdata, waaronder de meeste talen die niet Engels, Mandarijn of Spaans zijn, ligt het foutpercentage doorgaans merkbaar hoger, al haalt het Nederlands dankzij gerichte corpora inmiddels behoorlijke resultaten.
Ook methodologisch is er discussie: doordat WER geen onderscheid maakt tussen een onbeduidende fout en een betekenisveranderende fout, en doordat normalisatiekeuzes zoals interpunctie en hoofdletters de uitkomst kunnen beïnvloeden, groeit de belangstelling voor aanvullende maatstaven die beter aansluiten bij hoe mensen een transcriptie daadwerkelijk beoordelen.
Wie werken eraan?
Grote techbedrijven met eigen spraakassistenten en clouddiensten investeren fors in het verlagen van de WER van hun systemen, waaronder Google, Microsoft, Amazon, Apple en OpenAI. Meta ontwikkelt met projecten als wav2vec eigen open modellen die door de bredere onderzoeksgemeenschap worden gebruikt en verbeterd.
Op academisch niveau spelen universiteiten als Carnegie Mellon University, MIT en Johns Hopkins University in de Verenigde Staten al decennia een leidende rol in spraakherkenningsonderzoek. Het Amerikaanse standaardeninstituut NIST organiseert al sinds de jaren tachtig evaluatiewedstrijden die de WER als centrale maatstaf gebruiken, met datasets die vaak via het Linguistic Data Consortium beschikbaar worden gesteld.
Voor het Nederlandse taalgebied zijn het Instituut voor de Nederlandse Taal, de Nederlandse Taalunie en Vlaamse en Nederlandse universiteiten, waaronder de Radboud Universiteit, betrokken bij het opbouwen van Nederlandstalige spraakcorpora en het testen van spraakherkenning voor het Nederlands en Vlaams.