Toezichthoudende agent
Stel je een stagiair voor die razendsnel e-mails kan beantwoorden, code kan schrijven en zelfs kan winkelen op internet, maar die soms een verkeerde afslag neemt: een bestand verwijdert dat hij niet had mogen aanraken, of een betaling doet die niet klopt. Een toezichthoudende agent is in dat plaatje de begeleider die over de schouder meekijkt: een tweede kunstmatige intelligentie (AI) die de acties van de eerste controleert, afkeurt of juist goedkeurt voordat er echt iets gebeurt.
De term duikt steeds vaker op nu AI-systemen niet meer alleen tekst genereren, maar ook zelf dingen dóén: bestanden aanpassen, geld overmaken, software installeren of op internet klikken. Zulke handelende AI-systemen heten agentische AI of kortweg 'agents'. Omdat een fout van zo'n agent echte gevolgen kan hebben, bouwen onderzoekers en bedrijven een extra laag controle in: een systeem dat als toezichthouder meekijkt, vergelijkbaar met een compliance-afdeling die de acties van medewerkers steekproefsgewijs checkt voordat ze onomkeerbaar zijn.
Wat is het precies?
Een toezichthoudende agent is meestal geen los apparaat, maar een tweede AI-model dat in de werkstroom van een handelende AI is geplaatst. Het proces verloopt ongeveer zo: eerst bedenkt de 'uitvoerende' agent een actie, bijvoorbeeld 'stuur deze e-mail' of 'voer dit commando uit op de computer'. Voordat die actie echt plaatsvindt, wordt hij voorgelegd aan de toezichthoudende agent, die controleert of de actie past binnen vooraf ingestelde regels.
Die regels kunnen simpel zijn ('nooit bestanden buiten deze map verwijderen') of complexer, gebaseerd op een geschreven set principes waarmee het model zelf is getraind om schadelijke of ongewenste content te herkennen. Bij de techniek die Anthropic Constitutional AI noemt, leert een model bijvoorbeeld zelf te beoordelen of een antwoord in strijd is met een lijst grondregels, zonder dat een mens elk geval apart hoeft te beoordelen.
Er zijn grofweg drie niveaus van ingrijpen. Bij het lichtste niveau checkt de toezichthouder alleen achteraf en logt afwijkingen voor menselijke beoordeling. Bij een middenniveau kan de toezichthouder een actie blokkeren en om bevestiging vragen — dit is het bekende 'mag ik dit bestand aanpassen? ja/nee'-schermpje dat gebruikers van AI-codeerassistenten kennen. Bij het strengste niveau grijpt de toezichthouder autonoom in en stopt het proces zonder mensen te raadplegen, bijvoorbeeld wanneer een actie als zeer riskant is geclassificeerd.
Een lastig punt is dat de toezichthouder zelf ook een AI-model is, met dezelfde soort onzekerheden en fouten als het model dat het controleert. Onderzoekers noemen dit het probleem van scalable oversight (schaalbaar toezicht): hoe controleer je een systeem dat mogelijk slimmer is, of sneller werkt, dan de controleur zelf? Oplossingen die nu onderzocht worden zijn onder meer 'AI-debat' (twee AI's die elkaars antwoorden bekritiseren waarna een mens of derde model oordeelt) en het opsplitsen van grote taken in kleine, makkelijk te controleren stapjes.
Wat wil men ermee bereiken?
Het hoofddoel is vertrouwen: mensen en bedrijven pas bereid maken om AI-agenten echte taken en bevoegdheden te geven als er een vangnet is tegen fouten, misbruik of onvoorziene neveneffecten. Zonder toezicht durven organisaties een AI-agent geen toegang te geven tot bijvoorbeeld een bankrekening, een productieomgeving van software, of gevoelige klantgegevens.
Een tweede doel is bescherming tegen kwaadwillend gebruik, zoals prompt injection: een truc waarbij iemand verborgen instructies verstopt in een webpagina of document die een AI-agent tegenkomt tijdens zijn taak, in de hoop dat de agent die instructies uitvoert in plaats van de instructies van de eigenlijke gebruiker. Een toezichthoudende agent kan zulke pogingen herkennen en blokkeren voordat er schade ontstaat.
Daarnaast speelt aantoonbaarheid en verantwoording een rol. Toezichtlagen leggen vast welke beslissingen zijn genomen en waarom, wat nodig is voor audits, voor het onderzoeken van incidenten en, steeds vaker, voor wettelijke verplichtingen. De Europese AI-verordening (AI Act) schrijft bijvoorbeeld voor dat hoog-risico AI-systemen onder 'menselijk toezicht' moeten staan — een toezichthoudende agent is een technisch hulpmiddel om aan zulke eisen te voldoen, al vervangt hij niet automatisch de wettelijk vereiste menselijke controle.
Voorbeelden uit de praktijk
Een aantal concrete toepassingen laat zien hoe het concept in de praktijk vorm krijgt.
- Constitutional AI (Anthropic, vanaf 2022): een methode waarbij een tweede AI-model, getraind op een set grondregels, de antwoorden van het hoofdmodel beoordeelt en bijstuurt, zodat een mens niet elk voorbeeld handmatig hoeft te labelen.
- Permissiesystemen in AI-codeerassistenten (2024-2025): tools die programmeurs helpen door zelf code te schrijven en uit te voeren, vragen bij risicovolle acties (zoals het verwijderen van bestanden of het uitvoeren van systeemcommando's) expliciet om bevestiging van de gebruiker, in plaats van dit stilzwijgend te doen.
- Moderatie-lagen bij chatbots en API's: aparte classificatiemodellen die binnenkomende en uitgaande tekst scannen op schadelijke inhoud voordat die wordt getoond of verwerkt, los van het taalmodel dat de eigenlijke inhoud genereert.
- Evaluaties door METR (Model Evaluation and Threat Research, sinds 2023): een onafhankelijke onderzoeksorganisatie die voorafgaand aan de release van nieuwe, krachtige AI-modellen test hoe autonoom en gevaarlijk zulke systemen kunnen handelen, als een externe vorm van toezicht buiten het bedrijf zelf om.
- AI Safety Institutes (vanaf eind 2023): nationale instituten, zoals het Britse AI Safety Institute, die voorafgaand aan brede uitrol geavanceerde AI-modellen onafhankelijk testen op veiligheidsrisico's, mede als reactie op de groeiende inzet van agentische AI.
Hoe ver is de techniek?
Toezichthoudende agenten zijn een actief onderzoeksgebied, geen kant-en-klare, uitontwikkelde technologie. Voor beperkte, goed afgebakende taken — zoals het controleren of een AI-codeerassistent geen bestanden buiten een projectmap aanraakt — werkt toezicht inmiddels redelijk betrouwbaar. Voor complexere of langlopende taken, waarbij een agent zelfstandig meerdere stappen achter elkaar zet, is de betrouwbaarheid veel minder zeker.
Een belangrijk obstakel is dat toezichthoudende modellen nog steeds voor de gek gehouden kunnen worden. Onderzoek naar zogeheten jailbreaks (technieken om veiligheidsregels van een AI te omzeilen) laat zien dat ook controlelagen kwetsbaar zijn voor slim geformuleerde omzeiltrucs. Ook is er het risico dat een toezichthoudend model en het gecontroleerde model dezelfde onderliggende zwaktes delen, omdat ze vaak op vergelijkbare data en methodes zijn getraind — waardoor het toezicht minder onafhankelijk is dan het lijkt.
Een tweede obstakel is schaal: hoe geavanceerder AI-systemen worden, hoe moeilijker het wordt voor mensen (en zelfs voor andere AI-modellen) om al hun redeneringen en acties te doorgronden. Dit 'schaalbaar toezicht'-probleem is nog niet opgelost en geldt door onderzoekers als een van de kernvragen voor de veilige inzet van steeds autonomere AI in de komende jaren. Tegelijk gaat de ontwikkeling snel: waar toezichtlagen twee jaar geleden vooral bestonden uit simpele trefwoordfilters, zijn het nu volwaardige AI-modellen die context en intentie proberen te begrijpen.
Wie werken eraan?
Grote AI-bedrijven zoals Anthropic, OpenAI en Google DeepMind bouwen toezichtmechanismen rechtstreeks in hun eigen modellen en agent-producten in, vaak als onderdeel van bredere 'AI-veiligheid'-teams. Onafhankelijke onderzoeksorganisaties zoals METR en Apollo Research testen agentisch gedrag van modellen los van de bedrijven die ze maken, en publiceren daar rapporten over.
Op overheidsniveau zijn er sinds de AI Safety Summit in het Britse Bletchley Park (november 2023) nationale AI Safety Institutes opgericht, onder meer in het Verenigd Koninkrijk en de Verenigde Staten, die geavanceerde modellen onafhankelijk evalueren voordat ze breed beschikbaar komen. De Europese Unie regelt toezicht op AI-systemen via de AI Act, die eisen stelt aan menselijk en technisch toezicht bij hoog-risico toepassingen. Academische groepen, onder meer aan Britse en Amerikaanse universiteiten, doen daarnaast fundamenteel onderzoek naar schaalbaar toezicht en AI-debat als langetermijnoplossingen voor het controleren van steeds krachtigere systemen.