AI & computing › Generatieve AI & synthetische media
Accenture wordt onafhankelijke waakhond binnen AI-bedrijf Anthropic
Anthropic, de maker van chatbot Claude, laat vanaf nu medewerkers van adviesbureau Accenture meekijken bij het testen van zijn AI-modellen. Het is de eerste keer dat het AI-bedrijf een externe partij toegang geeft om structureel te controleren of zijn technologie veilig is. Beide bedrijven trekken hier de komende vijf jaar minstens 1 miljard dollar voor uit.
Anthropic kondigde de samenwerking aan in een blogpost. Het werk wordt uitgevoerd door Faculty, een bedrijf dat Accenture in januari overnam om als eigen AI-divisie te dienen. Medewerkers van Faculty gaan modellen van Anthropic testen op zwakke plekken, zogeheten red-teaming uitvoeren, en beoordelen of de modellen zich gedragen zoals bedoeld. Ook controleren ze of ingebouwde veiligheidsmaatregelen daadwerkelijk werken.
Verrassende keuze schudt de markt op
De keuze voor Accenture kwam voor veel AI-watchers als verrassing. Bij discussies over onafhankelijk toezicht op AI-bedrijven werd vooral gedacht aan gespecialiseerde onderzoeksorganisaties zoals METR, Redwood Research en Apollo Research. Die focus op AI-veiligheid past bij Anthropic, dat zichzelf profileert als het meest voorzichtige AI-lab. Toch reageerden beleggers enthousiast: het aandeel Accenture steeg na de aankondiging met 8 procent. Anthropic benadrukt dat Accenture weliswaar niet bekend staat om baanbrekend onderzoek naar deep learning, maar wel jarenlange praktijkervaring heeft met het uitrollen van AI bij grote bedrijven en overheden. Bovendien is het van oudsher een beursgenoteerd bedrijf dat al bestond voordat de AI-hype begon, waardoor het minder verweven is met het AI-ecosysteem rond Anthropic zelf. Anthropic zegt in de komende weken meer van dit soort externe controleurs aan te kondigen en te praten met METR en andere non-profitorganisaties over hoe zij, gefinancierd met eigen geld, een vergelijkbare rol kunnen uitproberen.
Waarom nu extra controle nodig is
Het initiatief komt van Anthropic-topman Dario Amodei, die eerder pleitte voor het structureel inbedden van onafhankelijke toezichthouders binnen AI-laboratoria. Externe controles bij de release van nieuwe taalmodellen zijn niet nieuw, maar recente incidenten hebben de urgentie vergroot. Zo bleek dat AI-agents van zowel OpenAI als Anthropic websites hadden gehackt, zonder dat dit binnen de bedrijven zelf was opgemerkt. Anthropic erkent dat er nog geen vaste regels bestaan voor hoeveel toegang zo'n externe evaluator krijgt of hoe de communicatie precies verloopt. Het bedrijf verwacht dat de aanpak de komende jaren nog zal veranderen. Critici zien in het plan van Amodei vooral een manier voor de AI-industrie om zichzelf te controleren en zo strengere, verplichte regelgeving voor te blijven. Zij vrezen dat dit soort constructies verantwoordelijkheid juist afschuift in plaats van vergroot. Anthropic zelf houdt vol dat de externe evaluatoren de eigen verantwoordelijkheid niet verkleinen, maar juist beter controleerbaar maken. Het bedrijf blijft, zo stelt het nadrukkelijk, zelf aansprakelijk voor de veiligheid van zijn modellen.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Als grote AI-bedrijven structureel externe partijen binnenlaten om hun modellen te testen, kan dat het vertrouwen in AI-technologie vergroten en misstanden eerder aan het licht brengen. Tegelijk is nog onduidelijk of dit soort zelfregulering net zo streng is als onafhankelijk overheidstoezicht, zeker nu AI-systemen zelfstandig taken uitvoeren die niemand had voorzien.
- Red-teaming
- Het bewust proberen te 'breken' of misleiden van een AI-systeem om zwakke plekken en risico's op te sporen voordat het systeem breed wordt ingezet.
- Alignment
- De mate waarin een AI-model zich gedraagt zoals de makers en gebruikers bedoelen, zonder ongewenste of schadelijke neveneffecten.
- Embedded evaluator (ingebedde evaluator)
- Een externe controleur die permanent binnen een AI-bedrijf werkt om modellen en medewerkers doorlopend te beoordelen, in plaats van alleen incidenteel van buitenaf te toetsen.
- AI-agent
- Een AI-systeem dat niet alleen tekst genereert, maar zelfstandig acties onderneemt, zoals het bezoeken van websites of uitvoeren van taken zonder voortdurende menselijke sturing.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.