Instructievolging: hoe AI-modellen leren doen wat je vraagt
Stel je een heel goed ingelezen assistent voor die alle boeken, artikelen en websites ter wereld heeft gelezen, maar die nog nooit heeft geleerd om daadwerkelijk naar je te luisteren. Vraag je hem "vat dit artikel samen in drie zinnen", dan is er een kans dat hij in plaats daarvan gewoon doorschrijft over hetzelfde onderwerp, of een vergelijkbare vraag begint te bedenken in plaats van hem te beantwoorden. Dat is ongeveer wat er gebeurt bij een taalmodel dat wel enorm veel taal heeft geleerd voorspellen, maar niet specifiek is getraind om opdrachten op te volgen.
Instructievolging (in het Engels: instruction following) is de eigenschap van een AI-taalmodel om te begrijpen wat een gebruiker vraagt en daar een passend, behulpzaam antwoord op te geven — in plaats van simpelweg de meest waarschijnlijke volgende woorden te genereren. Het is de reden dat chatbots zoals ChatGPT, Claude of Gemini aanvoelen als een gesprekspartner die opdrachten uitvoert, en niet als een tekstvoorspeller die toevallig lijkt te antwoorden. Achter die schijnbaar simpele vaardigheid gaat een aparte trainingsfase schuil die losstaat van het "lezen" van al die teksten.
Wat is het precies?
Een modern taalmodel doorloopt doorgaans meerdere trainingsfasen. De eerste fase heet pretraining: het model krijgt enorme hoeveelheden tekst te zien — websites, boeken, code — en leert daarbij steeds het volgende woord te voorspellen. Dit levert een zogeheten base model op: een systeem dat heel goed is in het voortzetten van tekst in een bepaalde stijl, maar dat geen begrip heeft van wat een "opdracht" is. Vraag je een base model iets, dan kan het net zo goed doorgaan met het bedenken van nóg meer vragen, omdat dat statistisch ook een aannemelijke voortzetting van de tekst is.
Om hier een bruikbare assistent van te maken, wordt het model in een tweede fase verder getraind op voorbeelden van instructies met bijbehorende goede antwoorden: "Leg uitleg X uit voor een kind" gevolgd door een correct antwoord, "Schrijf een e-mail met inhoud Y" gevolgd door een geschikte e-mail, enzovoort. Dit heet instruction tuning (instructie-afstemming): het model leert uit duizenden of miljoenen van dit soort voorbeelden welk gedrag bij een opdracht hoort. Het resultaat is een instruct- of chatmodel, te onderscheiden van het onderliggende base model.
Een derde, verfijnende stap is vaak RLHF, wat staat voor Reinforcement Learning from Human Feedback (versterkend leren op basis van menselijke feedback). Hierbij beoordelen mensen meerdere antwoorden van het model op dezelfde vraag, en leert het model — via een wiskundige beloningsfunctie die dat beoordelingsgedrag nabootst — welke stijl van antwoorden mensen prefereren: behulpzaam, eerlijk, niet schadelijk. Tot slot kan een gebruiker of ontwikkelaar bij het gebruik van het model nog een system prompt meegeven: een onzichtbare instructie die vooraf wordt ingesteld (bijvoorbeeld "antwoord altijd in het Nederlands en wees beknopt") en die het gedrag van het model verder stuurt, los van wat de gebruiker typt.
Wat wil men ermee bereiken?
Het doel van instructievolging is dat een AI-model daadwerkelijk doet wat de gebruiker bedoelt, in plaats van wat toevallig statistisch waarschijnlijk is. Dit wordt in onderzoek vaak onder de noemer alignment geschaard: het "uitlijnen" van een AI-systeem op de intenties, waarden en verwachtingen van mensen. Een goed instructievolgend model is voorspelbaarder, bruikbaarder voor concrete taken (samenvatten, programmeren, vertalen) en minder geneigd tot ongewenste of onveilige output, zoals het klakkeloos herhalen van schadelijke inhoud die toevallig in de trainingsdata voorkwam.
Daarnaast speelt veiligheid een grote rol: een model dat instructies goed volgt, kan ook beter getraind worden om bepaalde verzoeken te weigeren (bijvoorbeeld voor het maken van wapens of malware), en om eerlijk aan te geven wanneer het iets niet weet in plaats van een antwoord te verzinnen. Instructievolging is dus niet alleen een gebruiksgemak, maar ook een centraal onderdeel van hoe ontwikkelaars proberen AI-systemen betrouwbaar en beheersbaar te houden.
Voorbeelden uit de praktijk
Een van de bekendste mijlpalen is InstructGPT van OpenAI, beschreven in een onderzoekspaper uit 2022 met de titel "Training language models to follow instructions with human feedback". Dit werk liet zien dat een relatief klein model, getraind met instructie-afstemming en RLHF, door menselijke beoordelaars vaker als behulpzamer werd ervaren dan een veel groter maar ongetraind base model. InstructGPT vormde de basis voor de latere chatversies van GPT die uiteindelijk leidden tot ChatGPT.
Rond dezelfde periode publiceerde Google onderzoek naar FLAN (Finetuned Language Net), een aanpak waarbij een taalmodel werd afgestemd op een groot aantal verschillende taken die allemaal als instructies waren geformuleerd. Dit liet zien dat instructie-afstemming modellen ook beter maakt in taken die ze nog nooit eerder letterlijk hadden gezien — een vorm van generalisatie.
In 2023 publiceerde Stanford University Alpaca, een project waarbij een relatief klein open taalmodel (gebaseerd op Meta's LLaMA) werd fijngeslepen op automatisch gegenereerde instructie-antwoordparen. Alpaca liet zien dat instructievolging, tot dan toe vooral het domein van grote techbedrijven met veel rekenkracht, ook met beperktere middelen bereikbaar was — wat een golf van open-source instructiemodellen op gang bracht.
Anthropic ontwikkelde voor zijn Claude-modellen een aanpak genaamd Constitutional AI, voor het eerst beschreven in een paper uit 2022. Hierbij wordt het model getraind om zichzelf te bekritiseren en te verbeteren aan de hand van een set geschreven principes (een soort "grondwet"), in plaats van uitsluitend te steunen op grootschalige menselijke beoordeling. Ook Meta bracht met zijn Llama-modellen expliciete "instruct"-varianten uit, naast de kale base models, om ontwikkelaars een direct bruikbaar chatmodel te geven.
Hoe ver is de techniek?
Instructievolging is inmiddels standaardonderdeel van vrijwel elk commercieel taalmodel dat als chatbot wordt aangeboden. De kwaliteit is de afgelopen jaren sterk verbeterd: moderne modellen kunnen complexe, meerstaps-instructies opvolgen, eerdere context in een gesprek onthouden en zich aanpassen aan gedetailleerde system prompts.
Toch is het probleem niet opgelost. Modellen volgen instructies nog altijd niet perfect: ze kunnen delen van een opdracht overslaan, instructies verkeerd interpreteren, of juist te letterlijk of juist te vrij handelen. Een specifiek en actueel probleem is prompt injection: kwaadwillenden verstoppen instructies in tekst die een model verwerkt (bijvoorbeeld op een webpagina die het model samenvat), in de hoop dat het model die verborgen instructie opvolgt in plaats van de instructie van de eigenlijke gebruiker. Ook jailbreaks — slim geformuleerde prompts die een model overhalen om veiligheidsregels te negeren — blijven een terugkerend kat-en-muisspel tussen onderzoekers en gebruikers die de grenzen opzoeken.
Er bestaat bovendien een fundamentele spanning tussen behulpzaamheid en veiligheid: een model dat te gehoorzaam is, kan schadelijke verzoeken uitvoeren; een model dat te voorzichtig is, weigert onschuldige verzoeken. Onderzoekers zoeken nog altijd naar de juiste balans, en er is geen consensus over hoe je instructievolging objectief en betrouwbaar meet. Dit blijft dan ook een actief onderzoeksterrein zonder dat er sprake is van een "opgelost" probleem.
Wie werken eraan?
De grootste commerciële spelers op dit gebied zijn OpenAI (bekend van InstructGPT en ChatGPT), Anthropic (Claude, Constitutional AI), Google DeepMind (Gemini, eerder FLAN-onderzoek bij Google Research) en Meta AI (de Llama-modellenfamilie, inclusief instruct-varianten). Deze bedrijven combineren interne onderzoeksteams met grootschalige menselijke beoordelaarsgroepen om modellen te trainen en te evalueren.
Daarnaast speelt academisch onderzoek een belangrijke rol, met instituten zoals Stanford University (onder meer via het Center for Research on Foundation Models, verantwoordelijk voor Alpaca) die laten zien dat instructievolging ook buiten de grote techbedrijven om onderzocht en toegepast kan worden. Op het gebied van AI-veiligheid en -beleid houden ook overheidsinstanties zich met dit onderwerp bezig, zoals AI-veiligheidsinstituten die in het Verenigd Koninkrijk en de Verenigde Staten zijn opgericht om onder meer te onderzoeken hoe betrouwbaar modellen instructies en veiligheidsgrenzen naleven. Instructievolging is daarmee geen afgebakend project van één partij, maar een breed onderzoeksveld dat wereldwijd wordt bijgehouden, met de Verenigde Staten momenteel als grootste centrum van activiteit.