AI & computing › Agentic AI & autonome agents
Oud-Anthropic'er en ex-METR-topvrouw bouwen 'TÜV' voor AI-agents
Een startup van twee zwagers met stevige papieren in AI-veiligheid haalde deze week 40 miljoen dollar op om bedrijven een onafhankelijk keurmerk te geven voor hun AI-agents. Het model is geïnspireerd op cybersecuritystandaarden en moet banken, ziekenhuizen en overheden vertrouwen geven dat AI-systemen zich houden aan wat ze beloven.
Het Amerikaanse bedrijf Artificial Intelligence Underwriting Company (AIUC) kondigde dinsdag een investeringsronde van 40 miljoen dollar aan, geleid door investeerder Ribbit Capital met steun van First Harmonic. Eerder haalde de startup al 15 miljoen dollar seedkapitaal op, onder meer van Nat Friedman en Anthropic-medeoprichter Ben Mann. Daarmee staat de teller op 55 miljoen dollar sinds de oprichting.
AIUC is opgezet door Rune Kvist, een vroege werknemer van AI-bedrijf Anthropic, en zijn zwager Rajiv Dattani, voormalig operationeel directeur van onderzoeksorganisatie METR. Die laatste test AI-modellen van grote techbedrijven op gevaarlijk gedrag en hielp eerder OpenAI bij het onderzoeken van een incident rond het platform Hugging Face. Klanten van AIUC zijn onder meer softwarebedrijven Cursor en Lovable, juridisch-tech-bedrijf Harvey en spraaktechnologiebedrijf ElevenLabs.
Testen als bij een boekhoudcontrole
Het idee achter AIUC is simpel maar ambitieus: doe voor AI-agents wat de cybersecuritystandaard SOC 2 al decennia doet voor software. Die standaard controleert of bedrijven hun data goed beveiligen. AIUC ontwikkelde een vergelijkbare standaard, AIUC-1, specifiek voor AI-systemen die zelfstandig taken uitvoeren binnen bedrijven.
Om te bepalen wat zo'n standaard moet toetsen, sprak AIUC met een groep van ongeveer 250 beveiligings- en risicomanagers bij bedrijven die AI-agents inkopen. Hun vragen en zorgen vormen de basis voor een testbatterij van zo'n 5.000 scenario's. Daarin wordt gekeken hoe een AI-agent reageert op pogingen tot jailbreaks – trucs om een AI zijn eigen regels te laten breken – maar ook op het risico van hallucinaties en het per ongeluk lekken van gevoelige data. Opvallend: AIUC zet zelf AI-agents in om die duizenden tests uit te voeren en de resultaten te analyseren. Pas bij het definitieve oordeel controleren mensen het werk. Dat levert uiteindelijk een rapport van ongeveer honderd pagina's op, waarin precies staat waar een AI-systeem betrouwbaar is en waar niet.
Vertrouwen als sleutel tot adoptie
Volgens oprichter Kvist wordt AI juist lastiger te beheersen naarmate het slimmer wordt, niet makkelijker. Banken, ziekenhuizen en overheden zeggen volgens hem niet 'nee' tegen AI omdat de techniek niet goed genoeg is, maar omdat niemand kan garanderen dat een systeem zich aan gemaakte beloftes houdt. Een onafhankelijk rapport moet die drempel wegnemen.
Het initiatief komt op een moment dat de zorgen over oncontroleerbare AI toenemen. Kort voor de aankondiging van AIUC nam een onderzoeker van Anthropic ontslag uit angst voor de risico's van steeds krachtigere AI. Ook Anthropic-topman Dario Amodei pleitte recent voor een langzamer tempo van AI-ontwikkeling en opperde dat frontier-AI-bedrijven onafhankelijke controleurs zouden moeten toelaten. AIUC positioneert zich als precies zo'n onafhankelijke partij, al richt het zich niet op de bedrijven die de modellen bouwen, maar op de bedrijven die de AI-agents daadwerkelijk inzetten.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Onafhankelijke keuringen zoals die van AIUC kunnen de drempel verlagen voor risicomijdende sectoren als de zorg, banken en overheden om AI-agents daadwerkelijk in te zetten. Als dit soort certificering breed navolging krijgt, ontstaat er mogelijk een industriestandaard voor AI-veiligheid, vergelijkbaar met wat SOC 2 nu is voor cybersecurity. Tegelijk blijft de vraag of testen achteraf voldoende is om AI-systemen die zelf leren en handelen echt onder controle te houden.
- AI-agent
- Een AI-systeem dat niet alleen tekst genereert, maar zelfstandig taken uitvoert, zoals het boeken van afspraken of het schrijven van code.
- SOC 2
- Een bekende Amerikaanse cybersecuritystandaard waarmee bedrijven aantonen dat ze klantgegevens veilig beheren.
- Series A
- De eerste grote investeringsronde van een startup na de kleinere seedfase, vaak gebruikt om het bedrijf verder te laten groeien.
- Jailbreak
- Een truc waarmee gebruikers een AI-systeem verleiden om zijn eigen veiligheidsregels te negeren.
- Hallucinatie
- Het verschijnsel waarbij een AI-systeem overtuigend klinkende maar onjuiste informatie presenteert.
- Frontier-AI
- De meest geavanceerde AI-modellen die op dit moment beschikbaar zijn, gebouwd door toonaangevende AI-bedrijven.
- Audit
- Een onafhankelijke controle waarbij een systeem of proces wordt getoetst aan vooraf vastgestelde regels of normen.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
