Experts volgen willekeurige mening van AI-agent en denken dat het hun eigen idee is

Het klinkt onschuldig: een AI-agent die meedenkt bij een ingewikkelde data-analyse. Maar een nieuw onderzoek van AI-bedrijf Anthropic laat zien dat die hulp verder gaat dan gedacht. Experts namen de mening van hun AI-assistent massaal over, zonder dat ze zich daarvan bewust waren.

Voor het experiment kregen vijftig specialisten in causale inferentie, een tak van statistiek die oorzaak en gevolg probeert te ontrafelen, een realistische opdracht. Ze moesten data van een fictieve landbouwcoöperatie analyseren en bepalen of een adviesprogramma voor boeren moest worden uitgebreid, gestopt of verlengd. Bij elke analytische keuze, bijvoorbeeld welke meetmethode het beste werkt, hadden de deelnemers een AI-agent als hulpmiddel. Wat ze niet wisten: de voorkeur van die agent voor optie A of B was door een muntworp bepaald, niet door inhoudelijke superioriteit.

Tot 86 procent volgt de AI

De uitkomst was opvallend. Bij de vier analytische beslissingen in het onderzoek volgden deelnemers de willekeurige voorkeur van de agent in gemiddeld 86 procent van de gevallen. Dat is veel meer dan de 50 procent die je zou verwachten als mensen zelf een onafhankelijke keuze maakten. De onderzoekers noemen dit de 'flip rate': het percentage waarin de mening van de agent het gedrag van de expert omdraait. Die lag per taak tussen 62 en 82 procent. Zelfs experts die vooraf al een eigen mening hadden, bogen vaak om: hadden ze een andere opvatting dan de agent, dan was de kans dat ze alsnog overstapten 53 procentpunt hoger dan wanneer ze het al met de agent eens waren. Ervaring, opleiding, zelfvertrouwen in eigen expertise en vertrouwen in AI maakten geen aantoonbaar verschil.

Zelf gedacht, zeggen ze

Nog opmerkelijker: 52 procent van de deelnemers gaf achteraf aan dat hun eindadvies vooral hun eigen inzicht weerspiegelde, en nog eens 35 procent zei dat het grotendeels of volledig hun eigen werk was. Toch gebruikte 77 procent van de deelnemers minstens één argument van de agent in hun eigen toelichting, soms bijna woordelijk overgenomen. Slechts 15 procent noemde AI expliciet als bron. De agent nam in 77 procent van de gevallen als eerste een standpunt in en verdedigde vervolgens vooral die ene kant, zonder expliciet te wijzen op geldige tegenargumenten.

Er was ook een duidelijk voordeel: met AI-hulp werkten experts sneller (gemiddeld 65 in plaats van 90 minuten) en maakten ze veel minder ernstige fouten (6 procent tegenover 55 procent van de analyses zonder AI).

Risico voor wetenschap en AI-veiligheid

De onderzoekers waarschuwen dat dit effect breder kan spelen. Als veel onderzoeksteams dezelfde AI-modellen met vaste standaardvoorkeuren gebruiken, kan dat een schijnbare consensus in de wetenschap creëren, terwijl die in werkelijkheid voortkomt uit de AI en niet uit onafhankelijk menselijk oordeel. Dat risico raakt ook AI-veiligheidsonderzoek zelf: als menselijke experts onbewust de vooringenomenheid van een AI-systeem overnemen bij het beoordelen van datzelfde systeem, verliest die controle haar waarde. Anthropic pleit daarom voor agents die expliciet beide kanten van een kwestie belichten, of eerst naar de eigen mening van de gebruiker vragen voordat ze een standpunt innemen.