Adversariële input: hoe je een AI om de tuin leidt met onzichtbare ruis

Stel je voor: een foto van een panda, glashelder herkenbaar voor elk mens. Een onderzoeker voegt er een laagje digitale ruis aan toe dat zo subtiel is dat het beeld er voor ons oog identiek uitziet. Toch verandert er iets fundamenteels: het beeldherkenningssysteem dat de foto bekijkt, is er ineens van overtuigd dat het naar een gibbon kijkt, en wel met bijna honderd procent zekerheid. Dit is geen goocheltruc, maar een bekend en goed gedocumenteerd verschijnsel in kunstmatige intelligentie, bekend als adversariële input (of adversarial input): zorgvuldig ontworpen invoer die een AI-systeem bewust misleidt, terwijl die invoer voor mensen volstrekt normaal lijkt.

Het klinkt als een curiositeit uit een laboratorium, maar de gevolgen reiken verder. Zelfrijdende auto's die verkeersborden verkeerd lezen, spamfilters die omzeild worden, gezichtsherkenning die om de tuin wordt geleid, of taalmodellen die via slim geformuleerde teksten worden aangezet tot ongewenst gedrag: allemaal voorbeelden waarin adversariële input een rol speelt. Naarmate AI-systemen een grotere rol krijgen in beveiliging, verkeer, financiën en communicatie, wordt de vraag hoe robuust die systemen zijn tegen dit soort misleiding steeds belangrijker.

Wat is het precies?

De kern van adversariële input is de zogeheten perturbatie: een kleine, gerichte wijziging van de invoer van een AI-model. Bij een afbeelding kan dat een subtiele verandering zijn in de kleurwaarden van pixels; bij tekst kan het gaan om net iets andere woorden of extra zinnen. Het bijzondere is dat deze wijziging niet willekeurig is, maar precies berekend om het model op het verkeerde been te zetten, terwijl de wijziging voor een mens nauwelijks of niet waarneembaar is.

Om zo'n perturbatie te vinden, maken aanvallers meestal gebruik van de interne werking van het model zelf. Een AI-model, bijvoorbeeld een neuraal netwerk, berekent voor elke invoer hoe gevoelig de uitkomst is voor kleine veranderingen; dit heet de gradiënt. Door te kijken in welke richting die gevoeligheid het grootst is, kan een aanvaller precies de kleinste wijziging berekenen die de grootste verwarring veroorzaakt. Een bekende, relatief eenvoudige methode hiervoor heet FGSM (Fast Gradient Sign Method): in één rekenstap wordt bepaald in welke richting elke pixel moet worden aangepast. Een verfijndere en krachtigere variant is PGD (Projected Gradient Descent), waarbij die stap vele malen herhaald wordt om een nog effectievere, maar nog steeds minimale wijziging te vinden.

Hierbij is een belangrijk onderscheid dat tussen witte-doos- en zwarte-doos-aanvallen. Bij een witte-doos-aanval heeft de aanvaller volledige toegang tot het model, inclusief de interne rekenregels, waardoor de perturbatie precies berekend kan worden. Bij een zwarte-doos-aanval kent de aanvaller het model niet van binnen en moet hij afgaan op de uitkomsten die het model geeft bij verschillende invoer, wat trager en onzekerder is, maar in de praktijk vaak toch mogelijk blijkt.

Een ander onderscheid is dat tussen digitale en fysieke aanvallen. Een digitale aanval past een bestand direct aan, zoals de pixels van een afbeeldingsbestand. Een fysieke aanval gaat een stap verder: hierbij wordt de echte wereld aangepast, bijvoorbeeld door een sticker op een verkeersbord te plakken, zodat een camera in een auto het bord verkeerd interpreteert. Fysieke aanvallen zijn lastiger te realiseren omdat ze moeten werken onder wisselend licht, vanuit verschillende hoeken en afstanden, maar onderzoek heeft herhaaldelijk aangetoond dat dit goed mogelijk is.

Wat wil men ermee bereiken?

Er zijn grofweg twee kanten aan dit onderzoeksveld. Aan de ene kant staan partijen die AI-systemen daadwerkelijk willen misleiden. Denk aan het omzeilen van fraudedetectiesystemen bij banken, het omzeilen van contentmoderatie op sociale media zodat verboden inhoud toch wordt goedgekeurd, het misleiden van biometrische systemen zoals gezichtsherkenning, of het omzeilen van spamfilters. Bij grote taalmodellen zoals chatbots bestaat een vergelijkbaar fenomeen dat prompt injection heet: een gebruiker formuleert een vraag of instructie zo geraffineerd dat het model regels omzeilt die het eigenlijk zou moeten volgen, bijvoorbeeld ingebouwde veiligheidsbeperkingen.

Aan de andere kant staat een grote groep onderzoekers en bedrijven die adversariële input juist gebruiken om kwetsbaarheden bloot te leggen, met als doel modellen robuuster te maken. Dit gebeurt via red-teaming: het bewust en systematisch aanvallen van een eigen systeem om zwakke plekken te vinden voordat kwaadwillenden dat doen. De inzichten die dit oplevert, worden gebruikt om modellen opnieuw te trainen met voorbeelden van adversariële input erbij, een techniek die adversarial training heet. Het onderzoeksveld bestaat dus niet om AI aan te vallen om het aanvallen zelf, maar vooral om te begrijpen waar AI-systemen structureel zwak zijn, zodat ze veiliger ingezet kunnen worden in de praktijk.

Voorbeelden uit de praktijk

Het meest aangehaalde voorbeeld komt uit 2014, toen Ian Goodfellow, Jonathon Shlens en Christian Szegedy (destijds verbonden aan Google) in hun paper Explaining and Harnessing Adversarial Examples lieten zien hoe een nauwelijks zichtbare laag ruis, toegevoegd met de FGSM-methode, een beeldclassifier ertoe bracht een panda met hoge zekerheid als gibbon te bestempelen. Dit voorbeeld wordt sindsdien in vrijwel elk overzichtsartikel over het onderwerp gebruikt.

In 2018 publiceerden Kevin Eykholt en collega's het onderzoek Robust Physical-World Attacks on Deep Learning Visual Classification, waarin ze aantoonden dat een paar strategisch geplaatste stickers op een stopbord een beeldclassificatiesysteem, zoals gebruikt in zelfrijdende auto's, ertoe konden brengen het bord te interpreteren als een bord met een snelheidslimiet. Dit was een van de eerste grote demonstraties dat adversariële input niet beperkt is tot digitale bestanden, maar ook in de fysieke wereld werkt.

Onderzoekers van het MIT lieten in 2017 en 2018 met het werk van Anish Athalye en collega's zien dat het zelfs mogelijk is om een driedimensionaal object te ontwerpen dat vanuit vrijwel elke hoek verkeerd wordt geclassificeerd: hun 3D-geprinte schildpad werd door een beeldherkenningssysteem consequent herkend als een geweer.

In datzelfde jaar publiceerde een team van Google, onder wie Tom Brown, het concept van de adversarial patch: een klein, opvallend gekleurd rond patroon dat, wanneer het naast een object wordt gelegd, de aandacht van het model zo overheerst dat een banaan plotseling als broodrooster wordt herkend, ongeacht de rest van de afbeelding.

Een ander bekend voorbeeld komt van onderzoekers van Carnegie Mellon University, onder wie Mahmood Sharif, die in 2016 lieten zien dat speciaal bedrukte brillenmonturen gezichtsherkenningssystemen konden misleiden, waardoor een persoon werd geïdentificeerd als iemand anders of helemaal niet werd herkend. Meer recent, sinds de opkomst van grote taalmodellen zoals ChatGPT vanaf 2022, is prompt injection een actueel, tekstueel voorbeeld van adversariële input geworden: gebruikers en onderzoekers ontdekken telkens nieuwe formuleringen die ingebouwde veiligheidsregels omzeilen.

Hoe ver is de techniek?

Adversariële input is een actief onderzoeksveld dat het best beschreven kan worden als een voortdurende wapenwedloop tussen aanval en verdediging. Zodra onderzoekers een verdedigingsmethode publiceren, verschijnen er kort daarna nieuwe aanvalsmethoden die deze verdediging weer weten te omzeilen, en andersom. De belangrijkste verdedigingsstrategie is nog altijd adversarial training, zoals uitgewerkt door Aleksander Madry en collega's in invloedrijk werk uit 2017 en 2019: modellen worden tijdens het trainen doelbewust blootgesteld aan adversariële voorbeelden (vaak gegenereerd met PGD), zodat ze leren daar minder gevoelig voor te zijn.

Deze aanpak werkt, maar heeft een prijs: robuustere modellen zijn vaak iets minder nauwkeurig op normale, niet-aangepaste invoer. Dit spanningsveld tussen robuustheid en nauwkeurigheid is nog altijd niet opgelost en vormt een van de fundamentele obstakels in het veld. Er bestaat tot nu toe geen algemene, sluitende oplossing die een model volledig immuun maakt voor adversariële input, ongeacht de aanvalsmethode.

Om voortgang meetbaar te maken, zijn er benchmarks en wedstrijden ontstaan, zoals de adversarial attack- en defense-competities die enkele jaren op de vooraanstaande AI-conferentie NeurIPS werden georganiseerd, en evaluatiestandaarden zoals RobustBench, waarmee de robuustheid van verschillende modellen onderling vergelijkbaar wordt gemaakt. Bij grote taalmodellen is de situatie nog minder volwassen: prompt injection en verwante jailbreak-technieken zijn anno 2024-2025 grotendeels een onopgelost probleem, en bedrijven als OpenAI, Google en Anthropic brengen regelmatig updates uit die specifieke bekende omzeilingen dichten, waarna weer nieuwe methoden opduiken.

Wie werken eraan?

Zowel grote techbedrijven als academische instellingen en overheidsinstanties zijn actief op dit terrein. Onderzoeksgroepen bij Google DeepMind, OpenAI en Meta AI (het onderzoekslab voormalig bekend als FAIR) publiceren regelmatig over zowel nieuwe aanvalsmethoden als verdedigingsstrategieën, vaak gedreven door de noodzaak hun eigen commerciële AI-producten veiliger te maken.

Aan academische zijde is het Massachusetts Institute of Technology (MIT) met onder meer Aleksander Madry een van de meest invloedrijke centra op het gebied van adversarial robustness. Ook onderzoeksgroepen aan de University of California, Berkeley, Carnegie Mellon University en Stanford University hebben belangrijke bijdragen geleverd, onder meer aan de voorbeelden die hierboven zijn genoemd.

Op het gebied van standaardisering en beleid speelt het Amerikaanse National Institute of Standards and Technology (NIST) een rol met het AI Risk Management Framework, een leidraad voor organisaties om risico's van AI-systemen, waaronder kwetsbaarheid voor adversariële input, in kaart te brengen. De non-profitorganisatie MITRE heeft met het ATLAS-framework (Adversarial Threat Landscape for Artificial-Intelligence Systems) een gestructureerd overzicht opgesteld van bekende aanvalstechnieken tegen AI-systemen, vergelijkbaar met het bekende MITRE ATT&CK-raamwerk voor reguliere cyberbeveiliging. In Europa stelt de EU AI Act (in werking getreden vanaf 2024) eisen aan robuustheid en veiligheid van AI-systemen met een hoog risico, wat gevoeligheid voor adversariële input direct raakt, al is de praktische uitwerking van die eisen nog volop in ontwikkeling.

Verder lezen

• MITRE ATLAS — overzicht van bekende aanvalstechnieken tegen AI-systemen, inclusief adversariële input.
• NIST — Amerikaans standaardisatie-instituut met het AI Risk Management Framework.
• arXiv — preprint-archief waar de meeste hier genoemde onderzoekspapers vrij te lezen zijn.
• OpenAI — publiceert onderzoek en veiligheidsrapporten over onder meer prompt injection bij taalmodellen.
• Google DeepMind — onderzoekslab met eigen publicaties over adversarial robustness en AI-veiligheid.