AI & computing › Generatieve AI & synthetische media
OpenAI ontbindt team dat gevaarlijke AI-risico's moest opsporen
OpenAI heeft eind juli het team ontmanteld dat speciaal was opgericht om te controleren of zijn AI-modellen ernstige risico's vormen, zoals hulp bij hacken of het maken van biologische wapens. Het is de zoveelste aanpassing van de veiligheidsstructuur bij het bedrijf, dat aankoerst op een grote beursgang. Critici vrezen dat veiligheid ondergeschikt raakt aan het snel uitbrengen van nieuwe producten.
Het zogeheten preparedness team van OpenAI bestaat niet meer. Dat meldt de Financial Times op basis van bronnen binnen het bedrijf. Het team had als taak om vooraf in te schatten of nieuwe AI-modellen serieuze gevaren met zich meebrengen, bijvoorbeeld doordat een model gebruikt kan worden om bedrijven te hacken of om kennis over biologische en chemische wapens te verspreiden. Waar die verantwoordelijkheid eerst bij één centraal team lag, wordt de taak nu opgeknipt en verdeeld over bestaande afdelingen die zich specifiek richten op onderwerpen als cyberveiligheid en biologische risico's.
Opnieuw een streep door een veiligheidsteam
Het opheffen van het preparedness team staat niet op zichzelf. OpenAI heeft de afgelopen jaren vaker teams die zich bezighielden met de langetermijnrisico's van kunstmatige intelligentie ontmanteld of ingekrompen. Zo verdween eerder al het team dat zich bezighield met de voorbereiding op AGI, kunstmatige intelligentie die op menselijk niveau of daarboven zou kunnen presteren. Ook het superalignment-team, dat moest voorkomen dat toekomstige, zeer krachtige AI-systemen zich aan menselijke controle zouden onttrekken, hield al eerder op te bestaan.
Ook op personeelsgebied is er de laatste tijd veel beweging. Ethiek-verantwoordelijke Chloé Bakalar, Chief Futurist Josh Achiam en hoofd veiligheid Johannes Heidecke hebben OpenAI recent verlaten. Jan Leike, die in 2024 zelf al vertrok bij het bedrijf nadat hij kritiek uitte op het veiligheidsbeleid, zegt tegen de Financial Times dat OpenAI veiligheid steeds meer laat varen ten gunste van opvallende, verkoopbare producten.
Op weg naar de beursgang
De reorganisatie van de veiligheidsteams valt samen met de voorbereidingen op wat een van de grootste beursgangen ooit moet worden. Een notering aan de aandelenmarkt brengt doorgaans meer druk met zich mee om snel te groeien en winstgevend te worden, wat op gespannen voet kan staan met de voorzichtige, vertragende aanpak die veiligheidsteams vaak voorstaan.
Dylan Scandinaro, die tot voor kort leiding gaf aan het preparedness team en in februari van concurrent Anthropic overstapte naar OpenAI, blijft wel bij het bedrijf. Hij gaat zich voortaan richten op de gevolgen van zogeheten recursief zelfverbeterende AI: systemen die in staat zouden zijn zichzelf, of opvolgende AI-modellen, steeds verder te verbeteren zonder voortdurend menselijk ingrijpen. Dat scenario geldt in de sector als een van de grootste potentiële risico's van geavanceerde AI, omdat het de controle over zulke systemen sterk zou kunnen bemoeilijken.
OpenAI benadrukt dat de verantwoordelijkheden van het preparedness team niet verdwijnen, maar worden opgenomen in de dagelijkse werkzaamheden van gespecialiseerde teams. Critici vrezen echter dat losse expertise over specifieke risico's minder gewicht in de schaal legt dan een apart team dat uitsluitend naar de grote, existentiële gevaren van AI kijkt.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Het opheffen van gespecialiseerde veiligheidsteams bij een van de grootste AI-bedrijven ter wereld roept vragen op over hoe serieus de sector de langetermijnrisico's van steeds krachtigere AI-systemen nog neemt. Nu OpenAI zich opmaakt voor een beursgang, verschuift de aandacht mogelijk meer naar snelle productlancering dan naar zorgvuldige risicobeoordeling, terwijl juist onderwerpen als zelfverbeterende AI om extra waakzaamheid vragen.
- Preparedness team
- Een intern team bij OpenAI dat specifiek was opgericht om te beoordelen of AI-modellen ernstige risico's vormen, zoals misbruik voor hacken of biologische wapens, en om die risico's te beperken.
- AGI-readiness team
- Een inmiddels opgeheven team van OpenAI dat zich voorbereidde op de komst van AGI, kunstmatige intelligentie die op menselijk niveau of hoger kan presteren.
- Superalignment
- Onderzoek gericht op het onder controle houden van toekomstige AI-systemen die slimmer zijn dan mensen, zodat ze zich blijven gedragen naar menselijke bedoelingen.
- Beursgang (IPO)
- Het moment waarop een bedrijf voor het eerst aandelen aanbiedt op de openbare aandelenmarkt, waardoor het geld ophaalt bij grote groepen investeerders.
- Recursief zelfverbeterende AI
- AI-systemen die in staat zouden zijn zichzelf of opvolgende modellen steeds verder te verbeteren, mogelijk zonder voortdurende menselijke sturing.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
