OpenAI ontmantelt Russische en Iraanse campagnes die nepartikelen in echte media plaatsten

OpenAI heeft twee overheidsgelieerde desinformatiecampagnes ontmanteld die gebruikmaakten van generatieve AI. Een Russische en een Iraanse operatie zetten ChatGPT niet in om zelf massaal berichten op sociale media te verspreiden, maar om valse identiteiten op te bouwen en artikelen te plaatsen in bestaande, legitieme nieuwsmedia. Het Amerikaanse AI-bedrijf blokkeerde de betrokken accounts en beschrijft de werkwijze in een nieuw onderzoeksrapport.

Nepdenktank zaait twijfel in Latijns-Amerika

De Russische operatie, die OpenAI intern 'Dark Clark' noemt, richtte zich op Latijns-Amerika. Het doel was Ukraine in een slecht daglicht te zetten en de lokale politiek te destabiliseren. De actoren achter de campagne bouwden een fictieve denktank op die werd geleid door een verzonnen persoon, en schakelden vermoedelijk zonder hun medeweten lokale medewerkers in om de operatie geloofwaardiger te maken.

Volgens OpenAI verspreidden de makers vervalste audiobestanden die te vergelijken zijn met een deepfake, plus nagemaakte documenten. Die waren zo overtuigend dat ze leidden tot officiële fact-checks en ontkenningen van autoriteiten in Ecuador en Peru. Politici reageerden publiekelijk op de content, iets dat volgens OpenAI zelden gebeurt. Onafhankelijke onderzoekers gebruikten onder meer OSINT-technieken om de nepdocumenten te ontmaskeren. OpenAI beoordeelt de impact met categorie 5 op een schaal van 6, de zogeheten Breakout Scale die meet hoever desinformatie doordringt in de echte wereld. Het is in twee en een half jaar rapporteren de eerste keer dat het bedrijf een campagne zo hoog inschaalt.

Zeven nepjournalisten en bijna honderd artikelen

De Iraanse operatie, die OpenAI 'Bogus Bylines' noemt, werkte anders. De actoren verzonnen zeven journalisten met een eigen naam, biografie en foto, en gebruikten die identiteiten om bijna honderd artikelen over het conflict tussen de Verenigde Staten en Iran te plaatsen bij online media over de hele wereld. Daarnaast genereerden ze reacties onder berichten op sociale media, maar die kregen vrijwel geen aandacht.

AI vooral voor vertaling en interne rapportage

In beide gevallen gebruikten de actoren ChatGPT niet primair om de propaganda zelf te schrijven, maar om intern verslag te leggen over de voortgang van de operatie en om boodschappen aan te passen aan verschillende talen en culturen. Dat onderscheidt deze campagnes van een eerdere Russische desinformatiecampagne die OpenAI eerder blootlegde, en die vooral draaide op massale verspreiding via sociale media en een vergelijkbare nepdenktank.

Dat statelijke actoren AI-chatbots inzetten om artikelen te plaatsen bij bonafide redacties in plaats van alleen op sociale media, laat zien dat desinformatiecampagnes meebewegen met hoe nieuwsconsumenten vertrouwen toekennen. Een artikel in een gevestigde krant of nieuwssite wekt nu eenmaal meer vertrouwen dan een anonieme post. Onderzoekers van OpenAI noemen het een duidelijk signaal dat techbedrijven, mediaredacties en toezichthouders alert moeten blijven op dit soort geautomatiseerde infiltratie van het nieuwslandschap.