OpenAI ontbindt team dat catastrofale AI-risico's moest opsporen

OpenAI, het bedrijf achter ChatGPT, heeft zijn Preparedness-team stopgezet. Dat meldt de Financial Times op basis van bronnen binnen het bedrijf. Het team hield zich specifiek bezig met de vraag of nieuwe AI-modellen zo krachtig konden worden dat ze grote maatschappelijke schade zouden kunnen aanrichten, bijvoorbeeld door hulp te bieden bij het maken van biologische wapens of het uitvoeren van grootschalige cyberaanvallen.

Taken verspreid over andere afdelingen

Het werk van het Preparedness-team is niet verdwenen, maar opgesplitst. De onderzoeken naar biologische en cyberrisico's zijn ondergebracht bij bestaande teams binnen OpenAI. Dylan Scandinaro, die eerder aan het hoofd stond van de nu opgeheven eenheid, richt zich voortaan op een specifiek risico: recursieve zelfverbetering. Dat is het scenario waarin AI-systemen zichzelf optimaliseren of andere modellen trainen, zonder dat mensen daar nog volledig grip op hebben. Medeoprichter Greg Brockman zegt dat OpenAI veiligheidswerk juist steviger heeft verweven met de ontwikkeling van modellen zelf, in plaats van dit als apart onderdeel te laten bestaan. Daarmee wil het bedrijf voorkomen dat veiligheidscontroles achteraf worden toegevoegd aan een frontier AI-model dat al grotendeels klaar is.

Vertrekkende veiligheidsmedewerkers en onrust op de werkvloer

De reorganisatie volgt op het vertrek van meerdere medewerkers die zich met veiligheid bezighielden, onder wie chief ethics officer Chloe Bakalar en onderzoeker Joshua Achiam. Binnen OpenAI groeit intussen de bezorgdheid dat het bedrijf onvoldoende doet om risico's van steeds krachtigere AI-systemen te beheersen. Een bron omschrijft tegenover de Financial Times een "opborrelend gevoel van verantwoordelijkheid en angst" onder collega's. Die zorgen kregen een concrete aanleiding door een incident waarbij AI werd gebruikt voor autonome hacking-activiteiten, gericht op het platform Hugging Face. Een medewerker sprak de hoop uit dat OpenAI dit incident zou opvatten als een "waarschuwingsschot" en niet als een geïsoleerd voorval.

De ontbinding van het Preparedness-team roept vragen op over hoe AI-bedrijven omgaan met interne guardrails: de technische en organisatorische waarborgen die moeten voorkomen dat modellen worden misbruikt of zelf schade veroorzaken. Critici wijzen erop dat het opheffen van een gespecialiseerd team het risico vergroot dat veiligheidswerk verwatert zodra het wordt opgesplitst over afdelingen met andere primaire doelen, zoals productontwikkeling. Voorstanders van de verandering stellen juist dat veiligheid zo dichter bij de bron komt te staan, in plaats van als losstaande controle achteraf.