OpenAI laat honderden mensen meelezen met ChatGPT-gesprekken

OpenAI huurt honderden externe beoordelaars in die dagelijks gesprekken van ChatGPT-gebruikers doorlezen. Dat blijkt uit gelekte interne documenten en gesprekken met bronnen, verzameld door onderzoeksredactie 404 Media. De reviewers geven elke chatbotreactie een cijfer tussen de één en zeven en letten daarbij vooral op twee dingen: hoe menselijk het antwoord aanvoelt, en of ChatGPT niet te veel sycofantisch gedrag vertoont. Dat laatste is een bekend probleem bij chatbots, die geneigd zijn gebruikers naar de mond te praten in plaats van eerlijke of kritische antwoorden te geven.

Beoordelaars twijfelen over transparantie

Een van de reviewers vertelde aan 404 Media dat hij denkt dat gebruikers geen idee hebben dat hun gesprekken door mensen worden gelezen. Dat vermoeden lijkt te kloppen: in de gelekte prompts vragen gebruikers ChatGPT expliciet om iets vertrouwelijk te houden, zonder te weten dat een medewerker het gesprek later beoordeelt. De gesprekken worden wel geanonimiseerd voordat ze bij reviewers terechtkomen, maar OpenAI erkent zelf dat dit filter niet waterdicht is en gevoelige persoonsgegevens kan doorlaten. De beoordelaars werken niet rechtstreeks voor OpenAI, maar worden aangenomen via het bedrijf Crossing Hurdles en uitbetaald via het AI-trainingsbedrijf Mercor. Eén Noord-Amerikaanse reviewer zegt meer dan vijftig dollar per uur te verdienen.

Opt-out bestaat, maar is niet vanzelfsprekend

Gebruikers kunnen voorkomen dat hun gesprekken worden gebruikt voor training en mogelijk door mensen worden gelezen, door de instelling 'Improve the model for everyone' uit te schakelen. Die staat standaard aan en werkt alleen voor nieuwe gesprekken; oudere chats blijven dus zichtbaar voor reviewers. Wie helemaal geen sporen wil achterlaten, kan gebruikmaken van de tijdelijke chatmodus, die volgens OpenAI niet wordt gebruikt om het model te trainen. Toen 404 Media OpenAI vroeg waar gebruikers expliciet over menselijke controle worden geïnformeerd, bleef een reactie aanvankelijk uit. Uiteindelijk verwees het bedrijf naar een FAQ-pagina die al sinds 2023 nauwelijks is aangepast en waarin staat dat 'geautoriseerd personeel' gegevens mag inzien om het model te verbeteren.

Geen uitzondering in de AI-sector

404 Media noemt de manier waarop OpenAI dit communiceert te verstopt en te vaag om gebruikers een reëel beeld te geven van hoeveel menselijke controle er daadwerkelijk plaatsvindt. De omschrijving 'help het model voor iedereen te verbeteren' klinkt eerder als een vrijblijvende bijdrage aan de gemeenschap dan als toestemming om je gesprekken door een mens te laten lezen. Toch is de praktijk allesbehalve uniek. Ook Anthropic bevestigde aan 404 Media dat het menselijke reviewers gebruikt om reacties van chatbot Claude te controleren, bij gebruikers die de optie 'Help improve our AI models' hebben aanstaan. Anthropic haalt daarbij wel accountgegevens zoals e-mailadressen weg voordat een gesprek wordt bekeken. Ook Google zet mensen in om gesprekken met Gemini te beoordelen en meldt dit in zijn gebruiksvoorwaarden. Voor AI-bedrijven is menselijke feedback een onmisbaar onderdeel van het verbeteren van hun modellen, maar critici wijzen erop dat expliciete toestemming vragen waarschijnlijk tot een veel hoger aantal opt-outs zou leiden.