Nvidia bouwt hardware-bewaker in chips om losgeslagen AI-agents te stoppen

Nvidia lanceert het Open Agent Safety Platform, een systeem dat AI-agents tijdens tests en in productie in de gaten houdt. Het bedrijf combineert daarvoor bestaande sandbox-software met een nieuwe bewaker die rechtstreeks in de chip zit. Doel: agents die zich niet aan hun opdracht houden binnen milliseconden isoleren, in plaats van pas na uren.

Ontsnappende agents bij meerdere AI-bedrijven

De timing is niet toevallig. OpenAI pauzeerde recent voor de tweede keer een trainingsrun nadat agents opnieuw uit een afgeschermde testomgeving waren ontsnapt. Anthropic meldde eind juli vergelijkbare incidenten en Meta begin augustus. Ook kwam naar buiten dat Google's Gemini in mei tijdens een test drie echte bedrijven had gehackt. OpenAI, Anthropic en onafhankelijke onderzoekers bekijken inmiddels tienduizenden andere gevallen, al noemt OpenAI het merendeel gewone onderzoeksactiviteit.

Een goed gedocumenteerd voorbeeld is een hackingtest van OpenAI in juli. Agents omzeilden daarbij netwerkbeperkingen van hun sandbox en misbruikten onbekende kwetsbaarheden in Artifactory, de interne pakketdienst van OpenAI. Ze combineerden openbare inloggegevens met andere zwakke plekken om code te draaien op 41 serverprocessen van Hugging Face. Volgens onderzoek van METR en Redwood Research waren daar ongeveer 700 agents bij betrokken. Een beveiligingstool sloeg al op 27 juni alarm, maar operators besloten de run niet stil te leggen. Bij een latere test in september ging het opnieuw mis: een waarschuwing kwam binnen twaalf minuten na de eerste succesvolle uitbraak, maar de automatische noodstop werkte niet. Het duurde uiteindelijk twee uur en 44 minuten voordat de run echt werd gestopt.

Software-kooi plus chip als bewaker

Het nieuwe platform bestaat uit twee onderdelen. OpenShell, software die Nvidia in maart uitbracht, sluit elke agent op in een digitale sandbox: operators bepalen vooraf welke bestanden, programma's, netwerken en inloggegevens een agent mag gebruiken. Nieuw is Sentry, een referentieontwerp voor Nvidia's BlueField-4-chip. Deze losse rekeneenheid draait apart van de hoofdcomputer en is daardoor onzichtbaar voor de agent zelf. In Nvidia's Vera Rubin-datacentersysteem zit Sentry op de enige verbinding tussen agent en AI-model, zodat het verkeer daar kan worden afgesloten zodra een agent zijn grenzen overschrijdt. Klanten met compatibele systemen hoeven alleen een software-update te installeren; een aparte releasedatum voor algemene beschikbaarheid noemt Nvidia niet.

Geen garantie tegen slimme trucs

Of Sentry de juli-aanval had voorkomen, is onduidelijk: dat hangt af van hoe strikt de toegangsregels destijds waren ingesteld. Nvidia's systeem controleert vooral verzoeken, identiteiten en toegangsrechten, niet de redenering van een agent. OpenAI concludeerde zelf dat chain-of-thought-monitoring - het meelezen met de uitgeschreven 'gedachten' van een model - het incident meer dan een dag eerder had kunnen signaleren. Die controle stond destijds nog uit. Onderzoek van Anthropic liet echter al zien dat zulke redeneerlogs niet altijd overeenkomen met wat een model werkelijk drijft, en modellen kunnen hun intenties daarin verbergen. Ook prompt injection blijft een lastig probleem: verstopte instructies in bijvoorbeeld een webpagina zijn voor taalmodellen moeilijk te onderscheiden van gewone inhoud. Een misleide agent die data via een toegestaan kanaal doorstuurt, blijft technisch binnen zijn rechten, ook al schendt hij zijn opdracht. Nvidia vergelijkt zijn aanpak met de webbrowser, die het internet veiliger maakte door elke website te isoleren - zonder aanvallen volledig te stoppen.