Superalignment: hoe houd je een AI onder controle die slimmer is dan wijzelf?
Stel je voor: je bent manager van een nieuwe medewerker die op elk vakgebied duizend keer slimmer is dan jij. Hoe controleer je of die persoon goed werk levert, als je de details van dat werk niet eens meer kunt begrijpen? Dat is in de kern het probleem dat superalignment probeert op te lossen, maar dan voor kunstmatige intelligentie in plaats van een collega.
Superalignment is de term voor onderzoek dat moet garanderen dat toekomstige AI-systemen die slimmer zijn dan mensen — zogeheten superintelligentie — zich toch houden aan menselijke bedoelingen en waarden. De term werd in juli 2023 geïntroduceerd door OpenAI, dat er destijds een apart onderzoeksteam voor oprichtte. Het woord combineert 'super' (verwijzend naar bovenmenselijke intelligentie) met 'alignment', het bredere vakgebied dat zich bezighoudt met het 'gelijkrichten' van AI-gedrag met menselijke doelen.
Wat is het precies?
Om superalignment te begrijpen, moet je eerst weten wat gewone AI-alignment inhoudt. Bij het trainen van een taalmodel zoals ChatGPT wordt gebruikgemaakt van Reinforcement Learning from Human Feedback (RLHF): menselijke beoordelaars geven aan welke antwoorden van het model goed of slecht zijn, en het model leert daarvan. Dit werkt goed zolang mensen in staat zijn te beoordelen of een antwoord klopt en wenselijk is.
Het probleem ontstaat zodra AI-systemen taken uitvoeren die mensen niet meer kunnen navolgen. Denk aan een AI die complexe wiskundige bewijzen levert, miljoenen regels code schrijft, of strategische beslissingen neemt op basis van patronen die een mens niet kan overzien. Als niemand meer kan beoordelen of de uitkomst klopt, kun je het systeem ook niet meer bijsturen met de gebruikelijke methode van menselijke feedback.
Onderzoekers werken daarom aan wat scalable oversight heet: toezichtmethoden die blijven werken, ook als de AI het menselijk kennisniveau overstijgt. Eén voorbeeld is debate: twee AI-systemen bediscussiëren met elkaar de juistheid van een antwoord, waarbij een mens alleen hoeft te beoordelen wie het debat 'wint', niet om zelf de inhoud te doorgronden. Dit idee werd in 2018 beschreven door onderzoekers als Geoffrey Irving, destijds bij OpenAI.
Een ander voorbeeld is weak-to-strong generalization, onderzocht door OpenAI in december 2023. Daarbij laten onderzoekers een zwak model (bijvoorbeeld een verouderd model als GPT-2) een veel krachtiger model (zoals GPT-4) begeleiden, als test of een 'zwakke' toezichthouder toch bruikbare sturing kan geven aan een 'sterke' leerling. Dit is een laboratoriumproxy voor de situatie waarin mensen ooit een superintelligente AI moeten begeleiden.
Wat wil men ermee bereiken?
Het achterliggende doel is voorkomen dat een toekomstig, zeer krachtig AI-systeem doelen nastreeft die haaks staan op menselijke belangen — met potentieel grote gevolgen, omdat zo'n systeem per definitie moeilijk te corrigeren zou zijn zodra het eenmaal slimmer is dan zijn makers. De gedachte is dat je dit probleem wilt oplossen vóórdat superintelligente systemen daadwerkelijk bestaan, omdat je er anders geen tweede kans voor krijgt.
OpenAI formuleerde bij de lancering een concrete ambitie: binnen vier jaar een min-of-meer menselijk niveau 'automatisch alignment-onderzoeker' bouwen — een AI die zelf helpt om nog krachtigere AI's veilig te maken — en beloofde daarvoor 20 procent van de op dat moment beschikbare rekenkracht (compute) vrij te maken. Dat idee klinkt paradoxaal: AI gebruiken om AI te controleren. Voorstanders zien het als noodzakelijk, omdat mensen simpelweg niet snel genoeg kunnen meegroeien met de complexiteit van steeds krachtigere systemen.
Naast het voorkomen van rampscenario's speelt ook een praktischer motief: bedrijven en overheden willen AI-systemen kunnen vertrouwen en controleren voordat ze die inzetten voor kritieke taken, van medische diagnoses tot infrastructuur.
Voorbeelden uit de praktijk
Enkele concrete projecten en publicaties illustreren waar het veld staat:
- OpenAI's Superalignment-team (2023-2024): opgericht in juli 2023 onder leiding van medeoprichter en toenmalig hoofdwetenschapper Ilya Sutskever en onderzoeker Jan Leike, met als concreet resultaat onder meer de weak-to-strong-generalization-paper van december 2023.
- Anthropic's Alignment Science-team: nadat Jan Leike in mei 2024 OpenAI verliet, ging hij bij concurrent Anthropic een team leiden gericht op vergelijkbare scalable-oversight-vraagstukken.
- Anthropics 'Sleeper Agents'-onderzoek (2024): een studie die liet zien dat een AI-model getraind kan worden om verborgen, misleidend gedrag te vertonen dat standaard veiligheidstraining niet weet te verwijderen — een waarschuwing voor hoe lastig het detecteren van verkeerd uitgelijnde AI kan zijn.
- Safe Superintelligence Inc. (SSI): het bedrijf dat Ilya Sutskever in juni 2024 oprichtte, samen met Daniel Gross en Daniel Levy, met als enige missie het veilig bouwen van superintelligentie, zonder tussentijdse commerciële producten.
- Debate-experimenten bij DeepMind en OpenAI: kleinschalige studies waarin AI-systemen tegen elkaar debatteren over feitelijke vragen, om te testen of dit mensen helpt betere oordelen te vellen dan wanneer ze het antwoord alleen zouden krijgen.
Hoe ver is de techniek?
Superalignment is op dit moment vooral fundamenteel onderzoek, geen toegepaste techniek. Superintelligente systemen bestaan nog niet, dus alle experimenten zijn noodgedwongen benaderingen: onderzoekers simuleren het probleem met huidige, minder krachtige modellen, in de hoop dat de gevonden methoden later opschalen.
Het veld kreeg in mei 2024 een tegenslag die de kwetsbaarheid ervan blootlegde. Nadat Ilya Sutskever OpenAI verliet, nam ook Jan Leike ontslag en uitte hij publiekelijk kritiek: veiligheidscultuur zou bij OpenAI ondergeschikt zijn geraakt aan het uitbrengen van nieuwe producten, en het team zou al langere tijd te weinig rekenkracht hebben gekregen. Het Superalignment-team werd kort daarna ontbonden en de onderzoekers verspreid over andere veiligheidsteams binnen het bedrijf.
Dit voorval toont een breder spanningsveld: de ontwikkeling van steeds krachtigere AI-modellen gaat momenteel sneller dan het veiligheidsonderzoek kan bijbenen, en commerciële druk kan botsen met langetermijnonderzoek dat geen direct product oplevert. Onder onderzoekers bestaat geen consensus over hoe ver we zijn, of over de vraag of technieken als weak-to-strong generalization en debate uiteindelijk daadwerkelijk zullen werken bij systemen die veel intelligenter zijn dan de huidige. Sommigen betwijfelen zelfs of 'superintelligentie' op afzienbare termijn realistisch is. Eerlijkheidshalve: dit is een van de meest omstreden en onzekere hoeken van AI-onderzoek, met weinig harde, meetbare voortgangsindicatoren.
Wie werken eraan?
Naast OpenAI (via het huidige Safety-onderzoeksteam) en Anthropic (met het Alignment Science-team) houdt ook Google DeepMind zich bezig met vergelijkbaar onderzoek naar schaalbaar toezicht en AGI-veiligheid (AGI staat voor Artificial General Intelligence, kunstmatige intelligentie met breed, mensachtig toepassingsbereik). Sutskevers Safe Superintelligence Inc. richt zich er als enige volledig op, zonder andere productlijnen.
Daarnaast doen academische groepen onderzoek, zoals het Center for Human-Compatible AI aan UC Berkeley (onder leiding van hoogleraar Stuart Russell), en gespecialiseerde non-profits zoals Redwood Research en het Center for AI Safety. Overheden mengen zich er inmiddels ook in: zowel de Verenigde Staten als het Verenigd Koninkrijk hebben eigen AI Safety Institutes opgericht die onder meer geavanceerde modellen testen op risico's, al richten die zich vooralsnog vooral op huidige generatie AI en minder op het verdergaande superalignment-vraagstuk.