Gesprekscorpus
Een gesprekscorpus is een grote, systematisch verzamelde bak met echte gesprekken: opnames van telefoongesprekken, transcripties van gewone praatjes aan de keukentafel, chatberichten of ondertitels van films. Taalkundigen en, tegenwoordig vooral, ontwikkelaars van kunstmatige intelligentie gebruiken zo'n verzameling om te bestuderen hoe mensen daadwerkelijk met elkaar praten, en om computers te trainen dat na te doen.
Denk aan een gesprekscorpus als een enorme kast vol bandopnames van duizenden telefoongesprekken tussen onbekenden, allemaal keurig uitgeschreven en voorzien van aantekeningen: wie zegt wat, wanneer valt iemand de ander in de rede, welk dialect spreekt de beller. Waar een gewoon tekstcorpus bijvoorbeeld bestaat uit krantenartikelen of boeken, draait een gesprekscorpus specifiek om de rommelige, spontane manier waarop mensen elkaar toespreken: met haperingen, halve zinnen en door elkaar heen pratende stemmen. Die rommeligheid is precies waarom het zo waardevol is, want geschreven taal gedraagt zich heel anders dan gesproken taal.
Wat is het precies?
De basis van een gesprekscorpus is ruw materiaal: audio-opnames van gesprekken, of al bestaande geschreven dialogen zoals chatlogs, forumdraden of filmscripts. Bij audio-opnames is de eerste stap transcriptie: iemand (of tegenwoordig steeds vaker een spraakherkenningsprogramma) schrijft letterlijk uit wat er gezegd wordt, inclusief "euhs", herhalingen en overlappende spraak.
Daarna volgt annotatie: het toevoegen van laagjes informatie boven op de kale tekst. Onderzoekers markeren bijvoorbeeld wie er aan het woord is, wat iemands leeftijd, geslacht of regio is, en welk type taalhandeling een zin is — is het een vraag, een bevestiging, een begroeting? Dat laatste heet een dialoogact, een label dat aangeeft welke functie een uiting in het gesprek vervult.
Deze informatie wordt opgeslagen in een gestandaardiseerd digitaal formaat, zodat computers en andere onderzoekers het corpus makkelijk kunnen doorzoeken en uitwisselen. Bij opnames met echte sprekers wordt vrijwel altijd geanonimiseerd: namen, adressen en andere herleidbare gegevens worden verwijderd of vervangen, om de privacy van deelnemers te beschermen. Bij spraaktechnologie wordt de audio bovendien vaak woord-voor-woord gekoppeld aan de tekst, zodat een systeem kan leren welk geluid bij welk woord hoort.
Wat wil men ermee bereiken?
Het oudste doel is puur taalkundig: begrijpen hoe mensen echt praten, in tegenstelling tot hoe grammaticaboeken zeggen dat het hoort. Wanneer onderbreken mensen elkaar, hoe wisselen ze van onderwerp, hoe verschilt spreektaal tussen provincies of generaties? Dat soort vragen valt alleen te beantwoorden met grote hoeveelheden echte, spontane gesprekken.
Een tweede, snel gegroeid doel is technologisch. Spraakherkenning — software die gesproken taal omzet in tekst, zoals in een navigatiesysteem of ondertitelingsdienst — moet getraind worden op precies dat soort rommelige, spontane spraak om goed te werken. En chatbots en digitale assistenten, van klantenservice-bots tot taalmodellen zoals ChatGPT, hebben voorbeelden nodig van hoe een natuurlijk gesprek verloopt: hoe je een gesprek opent, doorvraagt en afrondt, in plaats van alleen losse, keurig geformuleerde zinnen.
Daarnaast worden gesprekscorpora gebruikt in sociolinguïstiek (de studie van taal in relatie tot sociale groepen), in de klinische praktijk om bijvoorbeeld therapiegesprekken te analyseren, en soms in forensisch onderzoek waarbij sprekersidentiteit of intentie een rol speelt.
Voorbeelden uit de praktijk
Het Corpus Gesproken Nederlands is het bekendste Nederlandstalige voorbeeld: tussen 1998 en 2004 namen Nederlandse en Vlaamse onderzoeksinstellingen, gefinancierd door de Nederlandse Taalunie, ruim negen miljoen woorden aan gesproken Nederlands op en transcribeerden die, van radio-uitzendingen tot spontane telefoongesprekken. Het wordt tegenwoordig beheerd door het Instituut voor de Nederlandse Taal (INT) in Leiden.
Internationaal geldt het Switchboard-corpus als een klassieker: begin jaren negentig nam Texas Instruments duizenden telefoongesprekken op tussen willekeurige Amerikanen die elkaar niet kenden, over vooraf gegeven onderwerpen. Het corpus werd verspreid via het Linguistic Data Consortium en vormde decennialang de basis voor spraakherkenningsonderzoek.
De Cornell Movie Dialogs Corpus, samengesteld in 2011 door onderzoekers van Cornell University, bundelt ruim tweehonderdduizend dialoogregels uit filmscripts en werd veel gebruikt om vroege chatbots mee te trainen, ook al is filmdialoog uiteraard geschreven en niet spontaan.
In 2017 verscheen DailyDialog, een verzameling van ongeveer dertienduizend door mensen geschreven alledaagse gesprekken in het Engels, bedoeld om dialoogsystemen te trainen op onderwerpen als boodschappen doen of werk.
Recenter, in 2023, publiceerde het Allen Institute for AI het SODA-corpus: geen opgenomen gesprekken tussen mensen, maar anderhalf miljoen door een taalmodel zélf gegenereerde dialogen, gebaseerd op alledaagse sociale situaties. Dit soort synthetische corpora is een groeiende trend, juist omdat echte gesprekken schaars en privacygevoelig zijn.
Hoe ver is de techniek?
Het verzamelen en annoteren van gesprekscorpora is geen nieuwe wetenschap; het gebeurt al sinds de jaren tachtig en negentig, en de basismethoden (opnemen, transcriberen, annoteren) zijn goed uitgekristalliseerd. Wat wél sterk is veranderd, is de schaal. Waar een corpus als het Corpus Gesproken Nederlands na jaren zorgvuldig werk op negen miljoen woorden uitkwam, trainen hedendaagse taalmodellen op corpora met miljarden woorden, deels afkomstig van massaal van internet verzamelde forumdiscussies, chatlogs en socialemediaberichten.
Die schaalvergroting brengt nieuwe problemen met zich mee. Kwaliteit en representativiteit zijn lastiger te bewaken wanneer data ongecontroleerd van internet wordt geschraapt in plaats van zorgvuldig opgenomen en getranscribeerd. Privacy is een tweede groot obstakel: gesprekken bevatten per definitie persoonlijke informatie, en de vraag of en hoe bedrijven gebruikersgesprekken — bijvoorbeeld chats met ChatGPT — mogen gebruiken om hun modellen te verbeteren, ligt onder een vergrootglas bij privacytoezichthouders. Voor talen en dialecten met weinig sprekers, waaronder veel regionale varianten van het Nederlands, blijft er bovendien een schrijnend tekort aan bruikbare gesprekscorpora, wat spraaktechnologie voor die groepen minder goed laat werken. Synthetische corpora zoals SODA zijn een poging om dat tekort te ondervangen, maar critici wijzen erop dat door AI gegenereerde gesprekken de eigenaardigheden van echte menselijke communicatie maar ten dele nabootsen.
Wie werken eraan?
In Nederland en Vlaanderen is het Instituut voor de Nederlandse Taal (INT) in Leiden de centrale speler die corpora zoals het Corpus Gesproken Nederlands beheert en toegankelijk maakt voor onderzoek, met historische betrokkenheid van onder meer de Radboud Universiteit Nijmegen en de KU Leuven. Het Meertens Instituut in Amsterdam richt zich specifiek op dialecten en taalvariatie binnen Nederland.
Internationaal is het Linguistic Data Consortium van de University of Pennsylvania al sinds 1992 een van de grootste distributeurs van taal- en spraakcorpora, waaronder Switchboard. In Europa zorgt de onderzoeksinfrastructuur CLARIN ervoor dat taalbronnen uit tientallen landen vindbaar en herbruikbaar zijn voor wetenschappers, terwijl de European Language Resources Association (ELRA) als non-profitorganisatie corpora catalogiseert en verspreidt.
Op het gebied van kunstmatige intelligentie investeren grote techbedrijven als OpenAI, Google, Meta en Microsoft fors in dialoogdata om hun taalmodellen te trainen, vaak zonder de precieze samenstelling van die data volledig openbaar te maken. Onderzoeksinstituten zoals het Allen Institute for AI experimenteren juist met open, synthetische alternatieven. In Nederland werkt het initiatief GPT-NL, gedragen door onder meer TNO en SURF, aan een eigen Nederlandstalig taalmodel, mede om minder afhankelijk te zijn van buitenlandse partijen voor de verwerking van Nederlandstalige tekst en gesprekken.