High-level data: de zoektocht naar betere brandstof voor AI
Stel je een student voor die leert schrijven door duizenden willekeurige internetreacties te lezen: scheldpartijen onder YouTube-video's, spam, halve zinnen en tegenstrijdige beweringen. Die student zal waarschijnlijk geen goede schrijver worden. Geef diezelfde student in plaats daarvan goed geredigeerde romans, vakliteratuur en zorgvuldige journalistiek, en het resultaat is heel anders. Precies dit verschil speelt bij kunstmatige intelligentie: het gaat niet alleen om hoeveel data een AI-systeem te zien krijgt, maar vooral om de kwaliteit ervan.
"High-level data" is de term die in de AI-wereld wordt gebruikt voor dat tweede type: zorgvuldig samengestelde, betrouwbare en informatierijke data, in tegenstelling tot "low-level" of ruwe data zoals ongefilterde webpagina's, herhaalde spam en automatisch gegenereerde rommel. Voor de bedrijven die grote taalmodellen zoals ChatGPT, Gemini en Claude bouwen, is de aanvoer van dit soort hoogwaardige data inmiddels een van de grootste knelpunten geworden — belangrijker voor veel onderzoekers dan extra rekenkracht of grotere modellen.
Wat is het precies?
Grote taalmodellen leren door tijdens de zogeheten pretraining-fase enorme hoeveelheden tekst te "lezen" en daaruit statistische patronen te halen: welke woorden vaak op elkaar volgen, hoe argumenten zijn opgebouwd, hoe code werkt, hoe feiten met elkaar samenhangen. Die tekst komt grotendeels van het open internet, verzameld via geautomatiseerde crawlers zoals Common Crawl, een non-profitproject dat al sinds 2008 periodiek grote delen van het web kopieert.
Het probleem is dat het open web voor een groot deel bestaat uit ruis: dubbele pagina's, advertentieteksten, spam, verouderde of feitelijk onjuiste informatie en steeds vaker ook tekst die door AI zelf is gegenereerd. Onderzoekers filteren en rangschikken deze data daarom op kwaliteit. "High-level" bronnen zijn bijvoorbeeld boeken, wetenschappelijke publicaties, goed gemodereerde forums, zorgvuldig geredigeerde journalistiek en broncode uit actief onderhouden softwareprojecten. Deze data is coherenter, feitelijk betrouwbaarder en leert een model beter redeneren dan een willekeurige greep uit het internet.
Omdat er simpelweg niet oneindig veel van dit soort tekst bestaat, experimenteren onderzoekers ook met synthetische data: tekst die door een ander AI-model wordt gegenereerd, specifiek ontworpen om leerzaam en foutloos te zijn — te vergelijken met een schoolboek dat speciaal is geschreven om iets uit te leggen, in plaats van een toevallige internetpost. Dit klinkt aantrekkelijk, maar brengt een risico met zich mee dat onderzoekers "model collapse" noemen: als een AI-model steeds meer leert van tekst die door andere AI-modellen is gemaakt, kunnen fouten en vertekeningen zich opstapelen, waardoor de kwaliteit juist afneemt in plaats van toeneemt.
Wat wil men ermee bereiken?
Het uiteindelijke doel is simpel te formuleren: betere, betrouwbaardere AI-modellen die minder vaak "hallucineren" (zelfverzonnen, foutieve informatie presenteren als feit) en beter kunnen redeneren over complexe vraagstukken. Onderzoek binnen AI-bedrijven wijst er steeds sterker op dat de kwaliteit van trainingsdata minstens zo belangrijk is als de omvang van een model of de hoeveelheid rekenkracht die erin wordt gestopt.
Er speelt ook een praktisch en juridisch belang. Nu duidelijk is geworden dat grote hoeveelheden auteursrechtelijk beschermd materiaal zonder toestemming is gebruikt om modellen te trainen, proberen AI-bedrijven via betaalde licentiedeals toegang te krijgen tot data waarvan de herkomst en rechten helder zijn. Dat is niet alleen juridisch veiliger, het levert vaak ook betere data op: nieuwsarchieven en uitgeverijen bevatten precies het soort zorgvuldig geredigeerde tekst die modellen nodig hebben.
Ten slotte is er een strategisch motief: wie toegang heeft tot unieke, hoogwaardige data die concurrenten niet hebben, heeft een voorsprong. Data is daarmee naast rekenkracht en talent een van de schaarse grondstoffen geworden waar AI-bedrijven om concurreren.
Voorbeelden uit de praktijk
Een aantal recente deals en projecten laat zien hoe dit zich in de praktijk vertaalt:
- OpenAI & Associated Press (2023): OpenAI sloot een licentieovereenkomst met persbureau AP voor toegang tot diens tekstarchief, in ruil voor een vergoeding en toegang van AP tot OpenAI's technologie.
- OpenAI & Axel Springer (december 2023): de Duitse uitgever van onder meer Bild, Politico en Business Insider gaf OpenAI toestemming om content te gebruiken voor training en om samenvattingen met bronvermelding te tonen in ChatGPT.
- Google & Reddit (begin 2024): Google betaalt Reddit voor gestructureerde toegang tot het forum als trainingsdata — Reddit-discussies gelden als waardevolle bron omdat ze levendige, alledaagse taal en veelzijdige meningen bevatten, iets waar geredigeerde tekst juist weinig van heeft.
- Microsoft Research & de Phi-modellenreeks (2023-2024): in plaats van een enorme hoeveelheid webdata koos Microsoft ervoor om kleine taalmodellen grotendeels te trainen op zorgvuldig samengestelde en synthetische "schoolboek-achtige" tekst. De resultaten lieten zien dat een kleiner model met betere data kan concurreren met veel grotere modellen op bepaalde taken.
- The New York Times tegen OpenAI en Microsoft (december 2023): deze rechtszaak, waarin de krant stelt dat haar artikelen zonder toestemming zijn gebruikt voor training, illustreert de keerzijde van de zoektocht naar hoogwaardige data en heeft de discussie over licenties en auteursrecht flink versneld.
Hoe ver is de techniek?
"High-level data" is geen technologie met een duidelijke ontwikkelingslijn zoals een chip of een raket, maar eerder een groeiend besef en een praktijk die voortdurend verandert. Tot enkele jaren geleden gold vooral: hoe meer data, hoe beter. Onderzoekers van het onafhankelijke onderzoeksinstituut Epoch AI publiceerden analyses die laten zien dat de voorraad hoogwaardige, publiek beschikbare tekst op het open internet eindig is, en dat de industrie bij het huidige groeitempo van datagebruik in de tweede helft van dit decennium tegen de grenzen daarvan kan aanlopen — exacte jaartallen verschillen sterk per aanname en moeten met de nodige voorzichtigheid worden gelezen.
Als reactie zijn er drie ontwikkelingen zichtbaar. Ten eerste een golf van licentiedeals met uitgevers, platforms en dataverzamelaars. Ten tweede groeiende interesse in synthetische data, ondanks het risico van kwaliteitsverlies bij te veel "zelfvoeding". Ten derde een verschuiving naar andere datatypes: video, audio, beeld en sensordata, die nog lang niet zo uitputtend zijn gebruikt als tekst en mogelijk nieuwe soorten redeneervaardigheden kunnen opleveren.
Een belangrijk obstakel is dat AI-bedrijven zelden precies openbaar maken welke data ze gebruiken, wat onafhankelijke controle en vergelijking bemoeilijkt. Ook is er geen algemeen geaccepteerde, meetbare definitie van "kwaliteit": wat voor het ene doel (bijvoorbeeld programmeren) hoogwaardige data is, hoeft dat voor een ander doel (bijvoorbeeld creatief schrijven) niet te zijn.
Wie werken eraan?
Vrijwel alle grote AI-laboratoria houden zich intensief bezig met datakwaliteit: OpenAI, Google DeepMind, Anthropic en Meta AI in de Verenigde Staten, en Mistral AI in Frankrijk als belangrijkste Europese speler. Microsoft Research is toonaangevend in onderzoek naar synthetische trainingsdata via de Phi-modellen.
Op onderzoeksgebied speelt Epoch AI een belangrijke rol met studies naar de beschikbaarheid en uitputting van trainingsdata. EleutherAI, een gemeenschapsgedreven onderzoeksinitiatief, bouwde met de "Pile"-dataset (2020-2021) een van de eerste grote, open en gedocumenteerde verzamelingen trainingsdata. Het Allen Institute for AI (AI2) in de Verenigde Staten publiceert eveneens open datasets, zoals "Dolma", specifiek om onderzoekers meer inzicht te geven in wat er eigenlijk in trainingsdata zit.
Daarnaast zijn uitgevers en platforms zelf partij geworden in dit veld: nieuwsorganisaties als AP en Axel Springer, en platforms als Reddit, onderhandelen inmiddels actief over de waarde van hun content als trainingsmateriaal.