Onafhankelijk onderzoek toont: AI-bedrijven laten niet het hele plaatje zien

Grote AI-bedrijven zoals Anthropic en OpenAI publiceren regelmatig rapporten over hoe mensen hun chatbots gebruiken. Maar die rapporten zijn niet onafhankelijk gecontroleerd, zeggen onderzoekers. "Er is geen onafhankelijke bron om het te bevestigen", zegt Anka Reuel, promovenda aan het Stanford Trustworthy AI Research Lab. Samen met Shayne Longpre, pas gepromoveerd aan het MIT Media Lab, leidt ze een nieuw project: de AI Observatory. Dit platform verzamelt en analyseert echte gesprekken met generatieve AI, afkomstig uit zeven bestaande datasets die met toestemming van gebruikers zijn samengesteld.

Blinde vlekken in bedrijfsrapporten

Het bekendste voorbeeld van zo'n bedrijfsrapport is de Anthropic Economic Index, gebaseerd op een miljoen gesprekken met het taalmodel Claude. Dat rapport richt zich vooral op werkgerelateerd gebruik en filtert andere gesprekken eruit. Toen de onderzoekers van AI Observatory dezelfde filtermethode op hun eigen dataset toepasten, bleek bijna de helft van alle gesprekken - 48 procent - buiten de boot te vallen. Juist die weggefilterde gesprekken gingen vaker over gevoelige onderwerpen: gezondheid en relaties, seksuele inhoud, en haatzaaien of intimidatie kwamen daarin veel vaker voor dan in Anthropics eigen cijfers. Ook OpenAI meldde vorig jaar dat maar 30 procent van het ChatGPT-gebruik door consumenten werkgerelateerd is. Volgens onderzoeker David Widder van de University of Texas at Austin, die niet bij het project betrokken is, geeft de brede blik van AI Observatory een consistenter beeld dan losse blogposts van bedrijven zelf.

Verschillen tussen modellen en over tijd

De onderzoekers verzamelden in totaal 24.521 gesprekken met 85.633 conversatiebeurten, afkomstig van vijfduizend gebruikers die tussen 2023 en 2025 met 52 verschillende AI-modellen chatten. Daaruit blijkt dat het gebruik sterk verschilt per model. Grok en Gemini worden vaker gebruikt om informatie op te zoeken; Grok is populair voor nieuws en politiek, maar juist daar concentreert zich ook desinformatie. Claude wordt relatief vaak ingezet voor programmeerwerk, Gemini voor sociale interactie en rollenspellen, en ChatGPT voor huiswerkbegeleiding. Ook binnen één model verandert het gebruik: gesprekken met het oudere GPT-3.5 waren korter dan met GPT-4o, dat bekendstond om het opwekken van emotionele gehechtheid bij gebruikers. Een van de onderzochte datasets, WildChat, laat bovendien zien dat gesprekken over de jaren langer en persoonlijker werden, met meer small talk - een teken dat mensen chatbots steeds vaker als een soort AI-metgezel gebruiken. Tegelijk nam het aandeel schadelijke of grensoverschrijdende gesprekken af, wat volgens de onderzoekers wijst op betere contentmoderatie door de platforms.

Nog altijd een beperkt beeld

De onderzoekers benadrukken dat hun dataset klein is vergeleken met wat techbedrijven zelf in huis hebben: Anthropic analyseerde een miljoen gesprekken, OpenAI anderhalf miljoen. Bovendien komen de gesprekken in AI Observatory van mensen die vrijwillig toestemming gaven, waardoor gevoelig gebruik waarschijnlijk ondervertegenwoordigd is. Toch vullen de resultaten een belangrijk gat, zegt Widder: onderzoekers en beleidsmakers kunnen nu voor het eerst zelf nagaan hoe een large language model in de praktijk wordt gebruikt, in plaats van te vertrouwen op de selectieve cijfers van de bedrijven zelf. Reuel hoopt dat AI-bedrijven op termijn hun eigen data - met behoud van privacy - beschikbaar stellen aan onafhankelijke onderzoekers.