Golfvormmodel: hoe AI leert klinken als een mens
Een golfvormmodel is een kunstmatig-intelligentiesysteem dat geluid genereert door letterlijk de trilling van de lucht na te bootsen, sample voor sample. Waar geluid bestaat uit een continu op- en neergaande drukgolf, wordt dat digitaal vastgelegd als een lange reeks getallen die aangeven hoe de luchtdruk op elk minuscuul tijdstip is — vaak tienduizenden keren per seconde. Een golfvormmodel is een neuraal netwerk dat leert precies zo'n reeks getallen te produceren, zodat het resultaat klinkt als een stem, muziekinstrument of ander geluid.
Vergelijk het met een schilder die niet werkt met vlakken en penseelstreken op basis van een schets, maar die letterlijk elke pixel van een foto natekent, één voor één, tot er een levensecht beeld ontstaat. Zo bouwt een golfvormmodel geluid op: niet door een grove blauwdruk in te kleuren, maar door elk piepklein drukverschil zelf te verzinnen, gebaseerd op wat het geleerd heeft van miljoenen seconden echte opnames. Dat maakt synthetische spraak en muziek tegenwoordig moeilijk te onderscheiden van het origineel.
Wat is het precies?
Digitaal geluid is een golfvorm: een grafiek van luchtdruk tegen tijd, opgeslagen als reeks getallen (samples). Bij telefoonkwaliteit gebeurt dat zo'n 8.000 keer per seconde, bij muziek vaak 44.100 keer per seconde. Elk getal beschrijft de exacte uitwijking van de golf op dat moment.
Oudere systemen voor tekst-naar-spraak namen een omweg. Ze zetten tekst eerst om in een spectrogram: een soort visuele vingerafdruk die laat zien welke frequenties (tonen) op welk moment aanwezig zijn, ongeveer zoals een muzieknotenbalk. Een apart onderdeel, de vocoder, moest dat spectrogram vervolgens omzetten in een echte golfvorm. Klassieke vocoders werkten met vaste wiskundige regels uit de signaalverwerking en klonken daardoor vaak robotachtig of blikkerig.
Een golfvormmodel vervangt die regelgebaseerde stap door een neuraal netwerk dat is getraind op enorme hoeveelheden opgenomen geluid. Het model leert statistische patronen: gegeven de voorgaande samples en een sturingssignaal (bijvoorbeeld een spectrogram of een tekstembedding), wat is een waarschijnlijke volgende waarde? Er bestaan verschillende bouwstijlen. Autoregressieve modellen zoals WaveNet voorspellen één sample tegelijk op basis van alles wat eraan voorafging, met zogeheten dilated convolutions om toch een lang 'geheugen' te hebben — nauwkeurig, maar traag omdat alles na elkaar moet. Parallelle modellen zoals WaveGlow of Parallel WaveNet genereren juist alle samples tegelijk, wat veel sneller is. GAN-gebaseerde modellen zoals HiFi-GAN laten een generator en een 'vervalsdetector' tegen elkaar strijden totdat de output niet meer van echt te onderscheiden is. En diffusiemodellen zoals WaveGrad of DiffWave beginnen met willekeurige ruis en verfijnen die stap voor stap tot een schone golfvorm ontstaat — vergelijkbaar met hoe beeldmodellen als Stable Diffusion werken, maar dan voor geluid.
Wat wil men ermee bereiken?
De directe aanleiding was ontevredenheid over hoe robotachtig computerstemmen klonken. Oudere tekst-naar-spraaksystemen plakten losse spraakfragmenten aan elkaar of gebruikten vereenvoudigde wiskundige modellen van de menselijke stembanden, met als resultaat een herkenbaar 'computerstemmetje'. Het doel van golfvormmodellen is spraak en geluid te produceren die niet meer te onderscheiden zijn van opnames van echte mensen.
Die belofte heeft praktische waarde. Toegankelijkheidssoftware voor slechtzienden kan natuurlijker voorlezen. Audioboeken en nieuwsartikelen kunnen automatisch worden ingesproken. Mensen die door een ziekte als ALS hun stem verliezen, kunnen met een gekloonde versie van hun eigen stem blijven communiceren. Filmstudio's kunnen dialogen nasynchroniseren in andere talen met behoud van de originele stemkleur. En game- en filmmakers kunnen sneller geluidseffecten en muziek genereren zonder telkens opnames te hoeven maken.
Een bredere ambitie in het onderzoeksveld is om uiteindelijk niet alleen spraak, maar alle soorten geluid — muziek, omgevingsgeluiden, instrumenten — met één type model te kunnen genereren, in plaats van voor elke toepassing apart gereedschap te bouwen.
Voorbeelden uit de praktijk
WaveNet (DeepMind, 2016) gold als de eerste grote doorbraak: een autoregressief model dat overtuigend natuurlijke spraak kon produceren. Google zette een aangepaste versie in om de stem van Google Assistant en Google Cloud Text-to-Speech natuurlijker te laten klinken.
Parallel WaveNet (DeepMind, 2017) loste het snelheidsprobleem van het origineel op: door een groot, traag model zijn kennis te laten overdragen aan een sneller model kon spraak duizenden keren sneller worden gegenereerd, snel genoeg voor gebruik in een pratende assistent.
WaveGlow (NVIDIA, 2018) combineerde ideeën uit eerdere flow-gebaseerde modellen met de aanpak van WaveNet en werd als open-source gereedschap veel gebruikt door onderzoekers en ontwikkelaars van spraaktechnologie.
Jukebox (OpenAI, 2020) ging een stap verder dan spraak alleen: het genereerde ruwe audio van complete muziekstukken, inclusief gezongen tekst, in de stijl van bestaande artiesten — met wisselende, soms nog ruisige geluidskwaliteit.
ElevenLabs, een bedrijf opgericht in 2022, bouwde hierop voort met commerciële stemklonings- en tekst-naar-spraaktechnologie die met een korte audio-opname een stem kan nabootsen. Dit soort tools wordt inmiddels breed gebruikt voor video's, audioboeken en dubbing, maar heeft ook geleid tot zorgen over misbruik, zoals nagemaakte stemmen in oplichtingspraktijken.
Hoe ver is de techniek?
Golfvormmodellen — vaak nog steeds 'vocoder' genoemd in vakliteratuur — zijn inmiddels een standaardonderdeel van vrijwel elk modern tekst-naar-spraaksysteem. In gecontroleerde tests scoort de gegenereerde spraak van de beste modellen dicht bij menselijke spraak op waargenomen natuurlijkheid, al blijven er in de praktijk soms subtiele artefacten hoorbaar en is het besturen van emotie, nadruk en spreekstijl nog beperkt.
De ontwikkeling ging vooral over snelheid. De eerste modellen zoals WaveNet waren te traag voor gebruik in real time: het genereren van één seconde spraak kostte oorspronkelijk meer dan een seconde rekentijd. Latere varianten zijn honderden tot duizenden keren sneller en draaien inmiddels probleemloos in real time, ook op smartphones.
Een merkbare trend is dat pure sample-voor-sample golfvormmodellen steeds vaker worden gecombineerd met of vervangen door andere technieken, zoals compacte audio-'tokens' die meer lijken op de bouwstenen van taalmodellen. Het onderscheid tussen 'golfvormmodel' en andere generatieve audiotechnieken vervaagt daardoor enigszins in recent onderzoek.
De belangrijkste obstakels zijn niet langer puur technisch. Trainingsdata voor nieuwe talen of stemmen met weinig beschikbaar materiaal blijft lastig, en vooral het misbruikrisico weegt zwaar: overtuigende audiodeepfakes zijn ingezet bij telefonische oplichting en er waren gerapporteerde gevallen van nagebootste stemmen van bekende personen in verkiezingscontexten. Onderzoek naar detectie van AI-gegenereerde audio en naar digitale watermerken in synthetische spraak is daarom een actief tegenhangend vakgebied. In de Europese Unie verplicht de AI-verordening (AI Act) aanbieders in bepaalde gevallen om AI-gegenereerde of bewerkte audio, beeld en video als zodanig te labelen; de precieze uitwerking van die verplichtingen is bij het schrijven van dit artikel nog in ontwikkeling.
Wie werken eraan?
Google DeepMind (Verenigd Koninkrijk) ontwikkelde WaveNet en de opvolgers WaveRNN en Parallel WaveNet, en paste ze toe in Google-producten. NVIDIA (Verenigde Staten) bracht WaveGlow uit en investeert breed in spraaktechnologie voor onder meer virtuele assistenten en ontwikkelaarsgereedschap. OpenAI (Verenigde Staten) bouwde Jukebox voor muziekgeneratie en werkt aan realtime spraaktechnologie voor zijn AI-assistenten. Meta AI (Verenigde Staten) ontwikkelt met AudioCraft en MusicGen generatieve audiotechnologie, deels op basis van verwante methoden.
Daarnaast zijn er gespecialiseerde onderzoeksgroepen die belangrijke architecturen zoals HiFi-GAN publiceerden, en een groeiend aantal startups zoals ElevenLabs, Resemble AI en het open-source-project Coqui die de technologie commercieel of vrij toegankelijk maken. Academische instituten, waaronder onderzoeksgroepen aan Canadese en Amerikaanse universiteiten, dragen bij aan fundamenteel onderzoek naar efficiëntere en beter controleerbare generatieve audiomodellen.