Sprekersdiarisatie: hoe software bepaalt wie wanneer aan het woord is
Stel je luistert naar een opname van een vergadering met vier deelnemers, maar je hebt geen video en kent de stemmen niet. Toch wil je weten wie wat zei: niet per se de exacte woorden, maar het patroon van wie sprak, wanneer diegene begon en stopte, en hoe vaak iemand het woord nam. Dat is precies wat sprekersdiarisatie doet: software knipt een audio-opname op in stukjes en plakt er labels op als "Spreker 1", "Spreker 2" en "Spreker 3", puur op basis van de klank van de stem.
Het woord "diarisatie" komt van "diarize", ooit een vondst in het onderzoeksveld voor wat informeel werd omschreven als "who spoke when" (wie sprak wanneer). Diarisatie zegt dus niets over de inhoud van wat gezegd is en meestal ook niet over de identiteit van een spreker in de echte wereld. Het is een tussenstap: een tijdlijn met anonieme sprekerslabels, die vaak wordt gecombineerd met spraakherkenning (die de woorden omzet in tekst) om tot een leesbaar transcript te komen met daarin "Spreker 1: ..." en "Spreker 2: ...".
Wat is het precies?
Een diarisatiesysteem doorloopt doorgaans een aantal stappen. Eerst is er spraakdetectie: het systeem filtert stiltes, achtergrondgeluid en muziek weg, zodat alleen de stukken overblijven waarin daadwerkelijk iemand praat.
Daarna volgt segmentatie: de overgebleven spraak wordt opgeknipt in korte fragmentjes, bijvoorbeeld van een paar seconden. Van elk fragment berekent het systeem een soort digitale stemafdruk, een reeks getallen die de klankkleur van die stem samenvat. In de vakliteratuur heten deze stemafdrukken embeddings, met namen als "x-vectors" of "d-vectors". Ze worden gegenereerd door een neuraal netwerk dat getraind is op duizenden uren spraak van verschillende sprekers.
Vervolgens komt clustering: een algoritme groepeert alle fragmenten met een vergelijkbare stemafdruk bij elkaar, in de veronderstelling dat gelijkende afdrukken van dezelfde spreker komen. Het systeem weet dus niet wie Spreker 1 Ãs, alleen dat bepaalde fragmenten waarschijnlijk bij elkaar horen.
Een lastig probleem is overlappende spraak: mensen praten in het echt regelmatig door elkaar heen. Oudere systemen negeerden dat grotendeels, maar nieuwere aanpakken, bekend als "end-to-end neural diarization", proberen ook overlap direct te herkennen en aan meerdere sprekers tegelijk toe te wijzen.
Het eindresultaat is een tijdlijn: bijvoorbeeld "Spreker 1: 00:00–00:12", "Spreker 2: 00:12–00:19", enzovoort. Pas als dit gekoppeld wordt aan een aparte stap van "sprekerherkenning" (waarbij een stem vergeleken wordt met een vooraf ingesproken referentie van een bekend persoon) krijgt een label een echte naam.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is leesbaarheid en bruikbaarheid van transcripten. Een letterlijke tekst zonder sprekerslabels van een vergadering, rechtszitting of interview met meerdere mensen is vaak nauwelijks te volgen. Diarisatie maakt automatische transcripten van podcasts, colleges, rechtbankzittingen, medische consulten en klantenservicegesprekken bruikbaarder, omdat duidelijk wordt wie wat zei.
Een tweede doel is analyse op schaal. Bedrijven willen bijvoorbeeld weten hoeveel spreektijd een callcenteragent versus de klant heeft, of hoe vaak iemand een ander onderbreekt. Mediamonitoringbureaus willen automatisch kunnen tellen hoe vaak een politicus in een uitzending aan het woord komt.
Ten derde speelt toegankelijkheid mee: ondertiteling die aangeeft wie er spreekt ("Spreker 1", "Spreker 2") helpt doven en slechthorenden een gesprek met meerdere mensen te volgen, iets wat gewone automatische ondertiteling vaak niet doet.
Tot slot is er forensisch en juridisch belang: bij afgeluisterde gesprekken of opgenomen bewijsmateriaal kan het waardevol zijn om vast te stellen hoeveel verschillende personen aan het woord zijn en wanneer, al blijft het toewijzen van een naam aan een stem een aparte en foutgevoelige stap die in een rechtszaak extra onderbouwing vereist.
Voorbeelden uit de praktijk
Het Amerikaanse standaardisatie-instituut NIST organiseerde in de jaren 2000 zogeheten "Rich Transcription"-evaluaties, waarbij onderzoeksteams wereldwijd hun diarisatiesystemen testten op opnames van vergaderingen, zoals de ICSI Meeting Corpus en de AMI Meeting Corpus (opnames van vergaderingen met meerdere microfoons). Deze evaluaties golden lange tijd als referentiepunt voor de sector.
De DIHARD-challenges (meerdere edities, georganiseerd rond het Linguistic Data Consortium van de Universiteit van Pennsylvania) daagden onderzoekers uit met bewust lastige audio: restaurantgesprekken met veel achtergrondlawaai, telefoongesprekken van wisselende kwaliteit en opnames met kindertaal. Het doel was te voorkomen dat systemen alleen goed scoren op schone, gecontroleerde studio-opnames.
Het open-source project pyannote.audio, ontwikkeld door onderzoeker Hervé Bredin (verbonden aan Franse onderzoeksinstellingen), is een van de meest gebruikte gereedschapskisten voor diarisatie buiten de grote techbedrijven om. Het wordt door veel kleinere bedrijven en onderzoekers als bouwsteen gebruikt in eigen transcriptiediensten.
Toen OpenAI in 2022 het spraakherkenningsmodel Whisper uitbracht, ontbrak daarin bewust sprekersherkenning. Al snel ontstonden projecten als WhisperX die Whisper combineren met een diarisatiemodule (vaak pyannote) om transcripten met sprekerslabels te produceren, wat de combinatie populair maakte onder ontwikkelaars.
Ook in Nederland wordt de technologie commercieel toegepast: het Amsterdamse bedrijf Amberscript, actief sinds de tweede helft van de jaren 2010, biedt automatische transcriptie en ondertiteling aan waarbij spraakherkenning wordt gecombineerd met sprekersdiarisatie, onder meer voor Nederlandstalige content.
Hoe ver is de techniek?
Sinds de overstap van oudere statistische methoden naar neurale stemafdrukken (vanaf ongeveer het eind van de jaren 2010) is de nauwkeurigheid flink verbeterd. Op schone opnames met een handvol duidelijk te onderscheiden sprekers en weinig overlap kunnen moderne systemen een lage foutgraad halen, gemeten met de "Diarization Error Rate" (DER): het percentage audio dat verkeerd wordt toegewezen aan een spreker, gemist wordt, of ten onrechte als spraak wordt gezien.
Op lastige, realistische audio, met veel sprekers, overlappende spraak, achtergrondgeluid of vergelijkbare stemmen, blijft de foutgraad merkbaar hoger. Overlappende spraak is nog altijd een van de grootste bronnen van fouten: mensen die door elkaar praten, worden makkelijk verkeerd of maar aan één spreker toegewezen.
Real-time diarisatie (tijdens een live gesprek, zonder de hele opname vooraf te kennen) is technisch lastiger dan het achteraf verwerken van een volledige opname, omdat het systeem nog niet "weet" hoeveel sprekers er in totaal zijn of hoe hun stemmen later in het gesprek klinken.
Een ander punt van onzekerheid is generalisatie: systemen die goed presteren op Engelstalige, veelal Amerikaanse trainingsdata, presteren niet automatisch even goed op andere talen, accenten, dialecten of opnamecondities, waaronder het Nederlands. Dit blijft een actief punt van onderzoek en een reden waarom resultaten in de praktijk kunnen tegenvallen ten opzichte van gepubliceerde testresultaten.
Wie werken eraan?
Op onderzoeksgebied speelt het Linguistic Data Consortium (verbonden aan de Universiteit van Pennsylvania, VS) een centrale rol via het verzamelen van testdata en het organiseren van evaluaties zoals DIHARD. Het Amerikaanse NIST (National Institute of Standards and Technology) heeft decennialang benchmarks georganiseerd voor spraaktechnologie, inclusief diarisatie.
Grote techbedrijven als Google, Microsoft en Amazon hebben diarisatie ingebouwd in hun clouddiensten voor spraak-naar-tekst (denk aan automatische ondertiteling in Microsoft Teams of Google Meet, en spraakdiensten als Amazon Transcribe). Chipmaker NVIDIA ontwikkelt met zijn NeMo-toolkit open onderzoekscomponenten voor diarisatie.
Op het snijvlak van academisch onderzoek en open source is het Franse werk van Hervé Bredin (pyannote.audio) invloedrijk, evenals bijdragen van Japanse onderzoekslabs (waaronder werk van Hitachi en NTT) aan zogeheten "end-to-end" diarisatiemethoden die beter omgaan met overlappende spraak.
Onder gespecialiseerde bedrijven vallen onder meer de Amerikaanse spraak-AI-bedrijven AssemblyAI en Deepgram, het Britse Speechmatics, en in Nederland Amberscript. Op academisch niveau in de Lage Landen doen onder meer onderzoeksgroepen aan Nederlandse en Belgische universiteiten onderzoek naar spraaktechnologie in bredere zin, al is specifiek diarisatieonderzoek voor het Nederlands een relatief kleine niche vergeleken met het Engelstalige onderzoeksveld.