AI-guardrails: hoe voorkom je dat kunstmatige intelligentie ontspoort?
Stel je een chatbot voor als een auto op een bergweg. De bestuurder is de gebruiker, die de auto met woorden aanstuurt. Zonder vangrails langs de weg kan één verkeerde stuurbeweging, per ongeluk of expres uitgelokt, de auto zo de afgrond in sturen: een racistische opmerking, een gevaarlijk recept, of foutief juridisch advies dat als waarheid wordt gepresenteerd. AI-guardrails zijn precies dat: technische en organisatorische vangrails die een AI-systeem, meestal een taalmodel zoals ChatGPT of Claude, binnen veilige en gewenste grenzen houden.
Het woord komt letterlijk van het Engelse "guardrail", de metalen vangrail langs een snelweg. In de AI-wereld is het een verzamelnaam voor allerlei maatregelen: filters die schadelijke vragen tegenhouden, controles die de antwoorden van een model checken voordat een gebruiker ze te zien krijgt, en regels die het model tijdens de training al bijbrengen wat wel en niet gepast is. Geen enkele van die maatregelen is op zichzelf waterdicht, guardrails werken vooral als gelaagd systeem, vergelijkbaar met meerdere vangrails, verkeersborden én een rijbewijsplicht samen.
Wat is het precies?
Guardrails grijpen op verschillende momenten in het proces in. Het begint vaak al vóórdat een taalmodel de vraag van een gebruiker ziet: een zogeheten input guardrail scant het bericht op verdachte patronen, zoals pogingen om het model te misleiden (een "jailbreak") of om verborgen instructies te injecteren ("prompt injection"). Verdachte verzoeken worden geblokkeerd of aangepast voordat ze het model bereiken.
Daarnaast krijgt het model zelf vaak een onzichtbare systeeminstructie mee, een soort gebruiksaanwijzing die vooraf meegeeft welke onderwerpen taboe zijn, welke toon gepast is, of welke rol het moet spelen (bijvoorbeeld: "beantwoord alleen vragen over onze webshop").
Na het genereren van een antwoord komt vaak een output guardrail in actie: een apart, kleiner classificatiemodel dat het antwoord beoordeelt op zaken als haatzaaien, geweld, seksuele inhoud, of het lekken van privégegevens, voordat het antwoord wordt getoond. Sommige systemen checken ook op feitelijke onjuistheden of "hallucinaties", antwoorden die overtuigend klinken maar verzonnen zijn.
Een aparte categorie zijn trainingsguardrails, die niet achteraf filteren maar al tijdens het trainen van het model gedrag bijsturen. Bekende technieken zijn RLHF (reinforcement learning from human feedback, waarbij mensen aangeven welke antwoorden beter zijn) en Constitutional AI, een methode van AI-bedrijf Anthropic waarbij het model zelf zijn antwoorden toetst aan een lijst met principes, een soort "grondwet".
Tot slot is er een onderscheid tussen regelgebaseerde guardrails (simpele lijsten met verboden woorden of patronen) en semantische guardrails, die met machine learning de betekenis van een tekst inschatten en dus ook omzeilingspogingen herkennen die geen verboden woorden gebruiken. Bij bijzonder risicovolle toepassingen, denk aan medisch of juridisch advies, wordt vaak ook een mens in de lus gezet die twijfelgevallen beoordeelt.
Wat wil men ermee bereiken?
De directe reden is schadebeperking: voorkomen dat een AI-systeem discriminerende, gewelddadige, illegale of anderszins schadelijke inhoud produceert. Maar er spelen meer belangen mee.
Bedrijven willen ook hun eigen aansprakelijkheid en reputatie beschermen. Een chatbot die verkeerd juridisch of financieel advies geeft, kan een bedrijf in juridische problemen brengen, zoals verderop in dit artikel blijkt. Guardrails moeten zulke antwoorden idealiter afvangen voordat ze de gebruiker bereiken.
Daarnaast speelt regelgeving een steeds grotere rol. Wetten zoals de Europese AI-verordening (AI Act) verplichten aanbieders van risicovolle AI-systemen om risicobeheersing, transparantie en menselijk toezicht aantoonbaar te organiseren, guardrails zijn daarbij een van de belangrijkste technische instrumenten om aan die eisen te voldoen.
Verder gaat het om het "on topic" houden van commerciële toepassingen: een klantenservicebot van een verzekeraar moet niet meepraten over politiek of concurrenten aanprijzen. En ten slotte is er het bredere doel van vertrouwen: gebruikers moeten erop kunnen rekenen dat een AI-systeem zich voorspelbaar gedraagt, ook als iemand het systeem bewust probeert te misleiden.
Voorbeelden uit de praktijk
NVIDIA NeMo Guardrails (2023) is een opensourcetoolkit waarmee ontwikkelaars met een eigen regeltaal, Colang, gespreksflows en verboden onderwerpen kunnen vastleggen rond bestaande taalmodellen.
Meta's Llama Guard, uitgebracht in 2023 als onderdeel van het Purple Llama-initiatief naast het taalmodel Llama 2, is zelf een klein AI-model dat specifiek getraind is om te beoordelen of een gebruikersvraag of modelantwoord "veilig" of "onveilig" is.
Guardrails AI is een populaire opensource Python-bibliotheek waarmee ontwikkelaars de output van een taalmodel valideren tegen zelfgedefinieerde regels en formaten, bijvoorbeeld om te garanderen dat een antwoord geen persoonsgegevens bevat.
OpenAI biedt al sinds de vroege API-jaren een gratis Moderation API die tekst classificeert op categorieën als haat, geweld en seksuele inhoud; dit systeem is de afgelopen jaren herhaaldelijk verbeterd.
Anthropic bouwt zijn Claude-modellen mede op basis van Constitutional AI, waarbij het model leert zijn eigen antwoorden te toetsen aan een set expliciet geformuleerde principes in plaats van uitsluitend te leunen op menselijke beoordelaars.
Guardrails falen ook regelmatig, en die gevallen zijn minstens zo leerzaam. In 2024 oordeelde een Canadese geschillencommissie dat luchtvaartmaatschappij Air Canada aansprakelijk was nadat haar chatbot een klant jarenlang eerder onjuist advies had gegeven over een rouwkorting, de vangrail had daar simpelweg niet gewerkt. In hetzelfde jaar meldden Amerikaanse journalisten dat de "MyCity"-chatbot van de gemeente New York, bedoeld om ondernemers te informeren, foutief en soms zelfs illegaal advies gaf, onder meer over arbeidsrecht. Deze voorbeelden laten zien dat guardrails geen garantie zijn, maar een risicoverlagende maatregel.
Hoe ver is de techniek?
AI-guardrails zijn een jong en snel veranderend vakgebied, met veel commerciële en opensource-ontwikkeling sinds ongeveer 2023. De techniek is bruikbaar en wordt breed toegepast, maar geldt onder onderzoekers nadrukkelijk niet als "opgelost".
Het grootste obstakel is dat het een kat-en-muisspel is. Zodra een nieuwe filtermethode verschijnt, vinden gebruikers nieuwe manieren om die te omzeilen, via rollenspel-prompts, tekst in een andere taal of codering, of door een verzoek slim op te knippen over meerdere berichten. Beveiligingsonderzoekers, verenigd onder meer in het OWASP-project voor grote taalmodellen, noemen "prompt injection" al enkele jaren op rij het belangrijkste risico van dit soort systemen, en tot nu toe bestaat er geen guardrail die dit probleem volledig wegneemt.
Ook hallucinatiedetectie, het herkennen van verzonnen "feiten", blijft moeilijk: een output-filter kan een onwaarheid alleen herkennen als die ergens te toetsen valt, en dat is lang niet altijd het geval. Onderzoekers zijn het er dan ook niet over eens of taalmodel-guardrails ooit echt sluitend kunnen worden, of dat het altijd een kwestie van risico's verkleinen in plaats van uitsluiten blijft.
Wat wel duidelijk vooruitgang boekt, is de institutionalisering van het vakgebied: sinds 2023 bestaat het NIST AI Risk Management Framework als leidraad voor risicobeheer, en sinds 2024 is de Europese AI-verordening in werking getreden, met verplichtingen die tot en met 2027 gefaseerd ingaan. Die regelgeving dwingt bedrijven guardrails niet langer vrijblijvend, maar aantoonbaar en gedocumenteerd toe te passen.
Wie werken eraan?
Alle grote AI-ontwikkelaars bouwen inmiddels eigen guardrail-systemen: OpenAI, Anthropic, Google DeepMind, Meta en Microsoft hebben elk eigen moderatie- en veiligheidslagen rond hun modellen. Chipmaker NVIDIA positioneert zich met NeMo Guardrails nadrukkelijk als infrastructuurleverancier voor bedrijven die zelf AI-toepassingen bouwen.
Daarnaast groeit een opensource- en start-upecosysteem rond het onderwerp, met initiatieven als Guardrails AI en tal van kleinere bedrijven die gespecialiseerde "AI-firewalls" aanbieden.
Op onderzoeksgebied dragen universitaire instituten zoals Stanford's Human-Centered AI Institute en diverse MIT-onderzoeksgroepen actief bij aan het in kaart brengen van kwetsbaarheden, vaak in samenwerking met de bedrijven zelf via zogeheten "red teaming", het gestructureerd proberen te doorbreken van guardrails om zwakke plekken te vinden.
Op het gebied van standaardisering en regelgeving zijn vooral het Amerikaanse National Institute of Standards and Technology (NIST) en de Europese Unie, via de AI Act en het bijbehorende AI Office, toonaangevend. Beide proberen een gemeenschappelijk kader te bieden voor wat "voldoende veilig" precies betekent, een vraag waarover internationaal nog geen volledige consensus bestaat.