Veiligheidsclassificator
Stel je een chatbot voor als een medewerker achter een balie die op elke vraag antwoord geeft. Een veiligheidsclassificator is dan de bewaker die naast die balie staat: hij bekijkt razendsnel elke binnenkomende vraag en elk uitgaand antwoord, en grijpt in zodra iets gevaarlijk of ongepast lijkt. Het is zelf geen chatbot die een gesprek voert, maar een gespecialiseerd computerprogramma dat maar één ding doet: bepalen of tekst (of een afbeelding) "veilig" of "onveilig" is.
Een concreet voorbeeld: iemand vraagt een AI-assistent hoe je een gevaarlijk virus kunt namaken in een laboratorium. Voordat het taalmodel daadwerkelijk antwoord geeft, of nadat het een conceptantwoord heeft opgesteld, controleert de veiligheidsclassificator de tekst. Herkent hij het verzoek als schadelijk, dan wordt het antwoord geblokkeerd of vervangen door een weigering. Dit gebeurt in milliseconden, onzichtbaar voor de gebruiker, bij vrijwel elke grote chatbot die je vandaag gebruikt.
Wat is het precies?
Een veiligheidsclassificator is zelf ook een vorm van kunstmatige intelligentie, meestal een kleiner en gespecialiseerder model dan het "hoofdmodel" (bijvoorbeeld een taalmodel als ChatGPT of Claude) dat het moet bewaken. Het krijgt een stuk tekst als invoer en geeft als uitvoer een label: veilig of onveilig, vaak met een categorie erbij zoals geweld, haatzaaien, seksueel misbruik van kinderen, zelfbeschadiging, wapens, of hulp bij cyberaanvallen. Sommige classificators geven ook een betrouwbaarheidsscore, een getal tussen 0 en 1 dat aangeeft hoe zeker het systeem van zijn oordeel is.
In de praktijk werken bedrijven vaak met twee classificators tegelijk. Een invoerclassificator controleert wat de gebruiker vraagt, nog voordat het hoofdmodel iets genereert. Een uitvoerclassificator controleert wat het hoofdmodel daadwerkelijk produceert, want een onschuldig ogende vraag kan soms toch tot een schadelijk antwoord leiden. Door deze twee lagen te scheiden van het hoofdmodel zelf, kunnen ontwikkelaars de classificator bijwerken zonder het hele taalmodel opnieuw te trainen, wat veel sneller en goedkoper is.
Om zo'n classificator te trainen is een grote verzameling voorbeelden nodig van zowel schadelijke als onschadelijke tekst, voorzien van labels. Die voorbeelden komen deels van menselijke beoordelaars die teksten handmatig indelen, en deels van "red teams": groepen die actief proberen het systeem te misleiden om zwakke plekken te vinden. Een recentere aanpak, door Anthropic "constitutional classifiers" genoemd, gebruikt een lijst met expliciete regels (een soort grondwet voor het systeem) om automatisch grote hoeveelheden synthetische trainingsvoorbeelden te genereren, in plaats van alleen te vertrouwen op handmatig gelabelde data.
Wat wil men ermee bereiken?
Het belangrijkste doel is misbruik van krachtige AI-systemen beperken. Grote taalmodellen kunnen in principe uitleg geven over het maken van explosieven, chemische wapens of malware, of teksten produceren die haat aanwakkeren of minderjarigen in gevaar brengen. Een veiligheidsclassificator moet dit soort uitkomsten tegenhouden zonder dat het hoofdmodel zelf minder capabel hoeft te worden.
Er speelt ook een juridische kant mee. De Europese AI-verordening (AI Act), die sinds augustus 2024 gefaseerd in werking treedt, verplicht aanbieders van AI-systemen met een verhoogd risico tot passende veiligheidsmaatregelen en risicobeoordelingen. Ook wetgeving zoals de Digital Services Act stelt eisen aan het modereren van schadelijke content op platforms. Veiligheidsclassificators zijn voor bedrijven een praktisch instrument om aan zulke regels te voldoen en aansprakelijkheid te beperken.
Tegelijk speelt een lastige afweging: een classificator die te streng is, weigert ook onschuldige vragen (bijvoorbeeld een scheikundeleraar die legitiem over chemische reacties vraagt) en maakt het systeem onbruikbaar frustrerend. Een classificator die te soepel is, laat schadelijke content door. Het optimaliseren van die balans, tussen overmatig weigeren en onvoldoende beschermen, is een centraal thema in dit vakgebied.
Voorbeelden uit de praktijk
Anthropic's Constitutional Classifiers (2025): Anthropic publiceerde begin 2025 onderzoek naar classificators die specifiek zijn getraind om zogeheten jailbreaks tegen te houden, pogingen om een taalmodel via slimme omwegen toch schadelijke informatie te ontlokken, met als testcasus hulp bij chemische wapens. Het bedrijf daagde buitenstaanders publiekelijk uit (een "bug bounty") om het systeem te doorbreken.
OpenAI Moderation API: sinds 2022 biedt OpenAI een aparte classificatiedienst aan die tekst indeelt in categorieën als geweld, seks, zelfbeschadiging en intimidatie. In 2024 volgde een uitgebreider "omni-moderation" model dat ook afbeeldingen kan beoordelen.
Meta Llama Guard (vanaf december 2023): als onderdeel van het Purple Llama-initiatief bracht Meta een open-source veiligheidsclassificator uit die ontwikkelaars zelf kunnen inzetten naast hun eigen taalmodellen. Inmiddels bestaan er opvolgers, Llama Guard 2 en 3, met bredere taalondersteuning.
Google Jigsaw Perspective API (sinds 2017): dit systeem, ontwikkeld door Googles onderzoeksgroep Jigsaw, scoort de "giftigheid" van tekst en wordt onder meer gebruikt door The New York Times en Wikipedia om moderatoren te helpen bij het beoordelen van reacties.
Microsoft Azure AI Content Safety: Microsoft integreert vergelijkbare classificators standaard in zijn Azure OpenAI-dienst, zodat bedrijven die generatieve AI inzetten automatisch een veiligheidslaag krijgen zonder die zelf te hoeven bouwen.
Hoe ver is de techniek?
Veiligheidsclassificators zijn inmiddels een volwassen en wijdverbreid onderdeel van vrijwel elk commercieel AI-systeem dat met het publiek communiceert. Het gaat niet om experimentele techniek, maar om iets dat dagelijks miljarden keren wordt toegepast.
Toch is het probleem niet opgelost. Aanvallers vinden voortdurend nieuwe manieren om classificators te omzeilen, bijvoorbeeld door verzoeken in code, poëzie of vreemde talen te verstoppen, of door de vraag in kleine stukjes te knippen die elk apart onschuldig lijken. Dit leidt tot een kat-en-muisspel: onderzoekers ontdekken zwakke plekken (vaak via publieke red-teaming-programma's), ontwikkelaars trainen de classificator bij, en er duiken weer nieuwe omzeilingsmethoden op.
Een ander obstakel is de rekenkracht. Elke extra classificatiestap kost tijd en geld, zeker wanneer zowel invoer als uitvoer, en soms zelfs tussenliggende tekst tijdens het genereren, gecontroleerd moet worden. Bedrijven zoeken naar manieren om dit efficiënter te maken zonder aan nauwkeurigheid in te boeten. Ook multimodale classificators, die naast tekst ook afbeeldingen, audio of video moeten beoordelen, staan nog volop in ontwikkeling en zijn foutgevoeliger dan tekstclassificators.
Wie werken eraan?
De grote AI-laboratoria, Anthropic, OpenAI, Google DeepMind en Meta AI, hebben elk eigen veiligheidsteams die aan classificators werken, vaak in combinatie met bredere "AI safety"-onderzoeksprogramma's. Microsoft ontwikkelt vergelijkbare technologie voor zijn Azure-cloudproducten. Daarnaast zijn er gespecialiseerde bedrijven zoals Lakera, die zich toeleggen op het detecteren van prompt-aanvallen en jailbreaks voor derde partijen.
In de academische wereld doen onderzoeksgroepen zoals het Center for Human-Compatible AI aan UC Berkeley en het Stanford Institute for Human-Centered AI onderzoek naar de robuustheid en beperkingen van dit soort systemen. Op regelgevend niveau houdt het AI Office van de Europese Commissie toezicht op de naleving van de AI-verordening, wat indirect ook eisen stelt aan hoe bedrijven veiligheidsclassificators inzetten en documenteren.