AI red teaming: hoe experts kunstmatige intelligentie proberen te breken voordat kwaadwillenden dat doen
Stel je voor: een bank bouwt een nieuwe kluis en huurt vervolgens professionele inbrekers in om te proberen die kluis open te krijgen, met alle denkbare trucs. Wat de inbrekers vinden, wordt gebruikt om de kluis te versterken voordat er echt geld in ligt. AI red teaming werkt volgens hetzelfde principe, maar dan met kunstmatige intelligentie in plaats van kluizen. Gespecialiseerde testers proberen een AI-systeem, zoals een chatbot of beeldgenerator, expres te misleiden of te laten ontsporen, zodat ontwikkelaars de zwakke plekken kunnen repareren voordat gewone gebruikers ermee aan de slag gaan.
De term komt oorspronkelijk uit de militaire en cybersecuritywereld: een 'rood team' speelt de rol van vijand om een 'blauw team' (de verdedigers) scherp te houden. Bij AI-systemen betekent dit dat testers proberen een taalmodel bijvoorbeeld instructies te ontfutselen voor het maken van wapens, discriminerende uitspraken te laten doen, of via slimme omwegen ('jailbreaks') de ingebouwde veiligheidsregels te omzeilen. Elk gevonden lek wordt gedocumenteerd en teruggekoppeld aan de bouwers van het systeem, die er vervolgens filters, trainingsdata of regels op aanpassen.
Wat is het precies?
AI red teaming is in de kern een gestructureerd proces van aanvallen simuleren. Het begint meestal met het opstellen van een dreigingsmodel: welke soorten misbruik zijn het meest zorgwekkend voor dit specifieke systeem? Bij een chatbot kan dat gaan om het genereren van desinformatie of hulp bij het maken van explosieven; bij een beeldgenerator om het maken van nepfoto's van bestaande personen (zogeheten deepfakes).
Vervolgens gaan mensen — en steeds vaker ook andere AI-systemen — actief proberen die grenzen te overschrijden. Dat gebeurt via prompt injection, waarbij een gebruiker verborgen instructies in een vraag verstopt om het model te misleiden, of via zogeheten jailbreak-technieken, zoals het model vragen een verhaal te schrijven waarin een personage 'toevallig' verboden informatie opsomt. Testers proberen ook het model te overtuigen met rollenspellen, meertalige trucs of door de vraag in kleine, onschuldig lijkende stukjes op te knippen.
Elke geslaagde aanval wordt vastgelegd in een rapport: wat was de precieze prompt, welk ongewenst antwoord kwam eruit, en hoe ernstig is dat? Op basis daarvan passen ontwikkelaars het model aan, bijvoorbeeld door extra trainingsvoorbeelden toe te voegen waarin het model leert weigeren, of door een los beveiligingsfilter te bouwen dat verdachte vragen blokkeert voordat ze het model bereiken. Daarna wordt vaak opnieuw getest, in een doorlopende cyclus.
Belangrijk is dat red teaming geen garantie geeft dat een systeem 'veilig' is. Het is een steekproef: testers vinden een deel van de mogelijke problemen, niet allemaal. Onafhankelijke onderzoekers vinden regelmatig, ook na uitgebreid red teaming, nieuwe manieren om populaire chatbots te misleiden.
Wat wil men ermee bereiken?
Het primaire doel is schade voorkomen voordat een AI-systeem massaal wordt gebruikt. Een taalmodel dat ongefilterd instructies geeft voor het maken van biologische wapens, of dat kinderen ongepaste content toont, kan grote maatschappelijke schade aanrichten. Door dit soort gedrag vooraf op te sporen, kunnen bedrijven het risico verkleinen voordat het publiek ermee in aanraking komt.
Daarnaast speelt reputatie en aansprakelijkheid een rol. Bedrijven die AI-producten lanceren die vervolgens racistische, seksistische of gevaarlijke output blijken te geven, krijgen te maken met imagoschade en soms juridische gevolgen. Grondig testen vooraf is dus ook risicomanagement in de zakelijke zin van het woord.
Er is ook een bredere, maatschappelijke drijfveer: overheden willen weten of krachtige AI-modellen een risico vormen voor de nationale veiligheid, bijvoorbeeld doordat ze het makkelijker maken om cyberaanvallen te automatiseren of gevaarlijke stoffen te synthetiseren. Red teaming door onafhankelijke, door de overheid aangestuurde instanties moet dat soort risico's in kaart brengen voordat de meest geavanceerde modellen breed beschikbaar komen.
Tot slot is er een wetenschappelijke ambitie: door systematisch te documenteren welke aanvallen werken en welke niet, ontstaat een groeiend body of knowledge over de zwakke plekken van AI-systemen in het algemeen — kennis die weer wordt gebruikt om toekomstige modellen inherent veiliger te ontwerpen.
Voorbeelden uit de praktijk
Een van de bekendste voorbeelden is het red teaming-netwerk van OpenAI, dat het bedrijf in 2023 opzette rond de release van GPT-4. Tientallen externe experts uit vakgebieden als biosecurity, cybersecurity en desinformatie kregen vroege toegang tot het model om het gericht te testen op gevaarlijke toepassingen, voordat het breed werd uitgerold.
Een ander opvallend project is de Generative Red Team Challenge op de hackersconferentie DEF CON in Las Vegas, in augustus 2023. Duizenden deelnemers kregen de kans om chatbots van onder meer OpenAI, Anthropic, Google, Meta en Microsoft op de proef te stellen, in een evenement dat mede werd ondersteund door het Witte Huis. Het was een van de eerste grootschalige, publieke pogingen om AI red teaming buiten de muren van individuele techbedrijven te organiseren.
Onderzoekers van Anthropic publiceerden in 2022 de studie 'Red Teaming Language Models to Reduce Harms', waarin ze beschreven hoe ze duizenden menselijke testers inzetten om hun taalmodellen te provoceren tot schadelijke uitspraken. Ze maakten de verzamelde dataset van aanvalspogingen openbaar, zodat ook andere onderzoekers ervan konden leren.
Microsoft ontwikkelde PyRIT (Python Risk Identification Toolkit), dat het bedrijf begin 2024 als opensourcesoftware beschikbaar stelde. Het gereedschap helpt beveiligingsteams om automatisch grote hoeveelheden aanvalspogingen tegen taalmodellen te genereren en te evalueren, in plaats van dat elke test met de hand moet worden bedacht.
Op overheidsniveau richtte het Verenigd Koninkrijk in november 2023 het AI Safety Institute op, dat sindsdien onafhankelijk red teaming uitvoert op de meest geavanceerde modellen van bedrijven als OpenAI, Anthropic en Google DeepMind, voordat of nadat deze worden vrijgegeven.
Hoe ver is de techniek?
AI red teaming is inmiddels gangbare praktijk bij grote AI-bedrijven, maar het vakgebied is nog volop in ontwikkeling en verre van gestandaardiseerd. Er bestaat geen uniforme lijst van tests die elk model moet doorstaan, en verschillende bedrijven hanteren verschillende definities van wat 'veilig genoeg' is.
Een belangrijke ontwikkeling is de opkomst van geautomatiseerd red teaming: in plaats van alleen mensen aanvallen te laten bedenken, worden nu ook AI-modellen ingezet om andere AI-modellen aan te vallen. Dat maakt het mogelijk om veel sneller en op grotere schaal te testen, maar roept ook nieuwe vragen op, want een aanvallend AI-model kan zelf weer nieuwe, onvoorziene kwetsbaarheden bevatten of missen.
Wetgeving begint het veld ook vorm te geven. De Europese AI-verordening (AI Act), die vanaf 2024 gefaseerd in werking treedt, verplicht aanbieders van de krachtigste algemene AI-modellen (met zogeheten systeemrisico) tot adversarial testing, wat in de praktijk neerkomt op verplicht red teaming. In de Verenigde Staten verplichtte een presidentieel decreet uit oktober 2023 ontwikkelaars van de meest geavanceerde modellen om de resultaten van hun veiligheidstests, inclusief red teaming, met de overheid te delen voordat het model op de markt komt. Dat decreet is overigens geen permanente wet en kan door een volgende regering worden gewijzigd of ingetrokken, wat de juridische stabiliteit van deze verplichting onzeker maakt.
De grootste obstakels blijven schaal en volledigheid. Taalmodellen kunnen op vrijwel oneindig veel manieren worden benaderd, waardoor het onmogelijk is om alle mogelijke aanvallen vooraf te testen. Bovendien veranderen modellen voortdurend door updates, waardoor eerder gevonden en 'opgeloste' problemen soms weer terugkeren. Onderzoekers vinden ook regelmatig nieuwe jailbreak-technieken die eerdere testrondes hadden gemist, wat laat zien dat red teaming een doorlopend proces is en geen eenmalige keurmerk-check.
Wie werken eraan?
Alle grote AI-ontwikkelaars hebben inmiddels interne red teams: OpenAI, Anthropic, Google DeepMind, Microsoft en Meta testen hun eigen modellen systematisch voordat die worden vrijgegeven, vaak aangevuld met externe experts voor specialistische risico's zoals biologische of chemische dreigingen.
Daarnaast ontstaan er onafhankelijke, door overheden gefinancierde instanties die als externe controleur optreden. Naast het Britse AI Safety Institute is er het Amerikaanse equivalent, dat werd opgezet binnen het National Institute of Standards and Technology (NIST) en modellen test in samenwerking met bedrijven. Ook Singapore, Japan en de Europese Unie bouwen aan vergelijkbare structuren voor onafhankelijke modeltoetsing.
In de academische wereld doen onderzoeksgroepen aan onder meer Stanford, Carnegie Mellon University en het Britse Alan Turing Institute onderzoek naar systematische kwetsbaarheden in taalmodellen en publiceren zij regelmatig nieuwe aanvalstechnieken, vaak juist om ontwikkelaars te dwingen hun verdediging te verbeteren. Ook de hackersgemeenschap, zoals te zien bij de DEF CON AI Village, speelt een steeds grotere rol als informele, crowdsourced vorm van red teaming.