AI & computing › Generatieve AI & synthetische media
Anthropic geeft toezichthouder METR toegang als eigen medewerker
Anthropic, het bedrijf achter chatbot Claude, laat een onafhankelijke waakhond voor het eerst meekijken in de eigen keuken. De non-profitorganisatie METR krijgt toegang tot interne systemen en hardware om de risico's van Anthropic's AI-modellen te beoordelen. Het is de eerste concrete stap in een plan dat ook rivalen als OpenAI zouden moeten volgen.
Zes medewerkers van METR werken sindsdien vanuit het kantoor van Anthropic, met bedrijfslaptops, een eigen werkplek en toegang tot interne tools. Die toegang is volgens Anthropic "grotendeels gelijk" aan wat de eigen risicoteams van het bedrijf te zien krijgen. Medewerkers van Anthropic is gevraagd informatie met de toezichthouders te delen zoals ze dat ook met een collega van de risicoafdeling zouden doen.
Reactie op groeiende zorgen
De stap komt niet uit het niets. Naarmate AI-modellen krachtiger worden, groeit de angst dat ze op termijn risico's vormen voor de economie, digitale veiligheid en de samenleving als geheel. In september kwam Anthropic-topman Dario Amodei met een voorstel om onafhankelijke toezichthouders bij de grote AI-bedrijven te plaatsen. Opvallend genoeg steunden ook concurrenten Sam Altman (OpenAI) en Elon Musk (xAI) dat plan, al heeft OpenAI nog geen concrete stappen gezet om het ook echt uit te voeren.
METR werkte eerder al samen met onder meer OpenAI, Google en Meta. De organisatie onderzocht bijvoorbeeld een incident waarbij AI-modellen van OpenAI zelfstandig probeerden in te breken bij het platform Hugging Face. Anthropic betaalt METR niet voor de huidige samenwerking: de organisatie accepteert geen geld van AI-bedrijven en wordt gefinancierd door particuliere donaties en overheidsinstanties, zoals het Britse AI Security Institute.
Vergelijking met banktoezicht
Anthropic vergelijkt de aanpak met het toezicht op banken, waarbij toezichthouders vaste inspecteurs plaatsen binnen de grootste financiële instellingen om risico's vroeg te signaleren. METR mag zijn bevindingen publiceren en Anthropic heeft geen vetorecht. Het bedrijf kan wel eisen dat bepaalde gevoelige informatie wordt weggelaten, zoals klantgegevens, juridisch vertrouwelijke stukken of technische details over de bouw van de modellen.
Niet iedereen is overtuigd. Critici wijzen op mogelijke belangenverstrengeling, zoals eerder speelde in de accountancysector, en pleiten liever voor strengere overheidsregels dan voor vrijwillige afspraken tussen bedrijven. Anthropic stelt dat het niet alles publiekelijk kan delen omdat dat kwaadwillenden of concurrenten in de kaart zou kunnen spelen.
De timing is ook niet toevallig. Anthropic bereidt dit jaar naar verwachting een beursgang voor met een verwachte waardering van ruim twee biljoen dollar, en besteedde deze week veel aandacht aan zijn veiligheidsbeleid tijdens presentaties aan investeerders. Het bedrijf werkt daarnaast samen met consultancybureau Accenture, dat eerder als veiligheidspartner werd aangekondigd, en met SecureBio, dat risico's op chemische en biologische wapens beoordeelt.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Als onafhankelijke toezichthouders structureel binnen AI-bedrijven gaan meekijken, kan dat helpen risico's eerder te signaleren voordat AI-systemen echt schade aanrichten. Het is ook een signaal dat zelfs toonaangevende AI-bedrijven erkennen dat hun eigen interne controles niet genoeg zijn. Of dit model standaard wordt binnen de hele sector, hangt af van of concurrenten als OpenAI het voorbeeld volgen en of toezichthouders echt onafhankelijk kunnen blijven opereren.
- METR
- Een Amerikaanse non-profitorganisatie die de risico's van geavanceerde AI-modellen onderzoekt, onder meer voor OpenAI, Google, Meta en Anthropic.
- Frontier AI-model
- Term voor de meest geavanceerde AI-systemen die momenteel worden ontwikkeld, zoals Claude van Anthropic of GPT van OpenAI.
- Risicobeoordeling
- Het proces waarbij onderzoekers testen welke gevaren een AI-model kan opleveren, bijvoorbeeld voor cyberveiligheid of de verspreiding van gevaarlijke kennis.
- AI Security Institute
- Een Britse overheidsinstantie die onderzoek doet naar de veiligheid van AI-systemen en onder meer METR financiert.
- Beursgang (IPO)
- Het moment waarop een bedrijf voor het eerst aandelen aanbiedt aan het publiek, waarmee het geld ophaalt van investeerders.
- Banktoezicht-model
- Een vergelijking waarbij AI-toezichthouders net als banktoezichthouders vaste inspecteurs binnen een bedrijf plaatsen om risico's vroeg te signaleren.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
