AI-topresearchers waarschuwden voor zelfverbeterende AI: mijlpalen al gehaald

Onderzoeker Severin Field van het Institute for AI Policy and Strategy (IAPS) interviewde afgelopen zomer 25 wetenschappers van toonaangevende AI-labs en Amerikaanse universiteiten. Onderwerp: het risico dat AI-systemen steeds beter worden in het bouwen van nog betere AI-systemen. Twintig van de 25 ondervraagden noemden dit een van de ernstigste en meest urgente risico's van kunstmatige intelligentie. Field publiceerde de resultaten in zijn nieuwsbrief The Attack Surface.

Wat is recursieve zelfverbetering?

Bij recursieve zelfverbetering (RSI) bouwt een AI-systeem een sterkere versie van zichzelf, die op zijn beurt weer een nog sterkere versie kan maken. De onderzoekers gebruikten vooral de Task Horizon-benchmark van het non-profitinstituut METR als meetlat. Die benchmark laat zien hoe lang een taak mag duren die een AI-agent zelfstandig kan afronden. Die tijdsduur verdubbelt sinds 2019 ongeveer elke zes maanden, en sommige analisten zien dat tempo sinds 2024 versnellen naar elke vier maanden. Sceptici stellen dat er nog een doorbraak nodig is op het gebied van geheugen, creativiteit of het onderscheiden van juiste en onjuiste hypothesen, omdat baanbrekende ideeën geen trainingsdata of vast antwoord hebben.

Voorspelde grenzen al overschreden

Sinds de interviews zijn meerdere van die genoemde grenzen toch gehaald. OpenAI en Google DeepMind behaalden goud-niveau op de internationale wiskundeolympiade. Het AI-bedrijf Sakana liet zijn 'AI Scientist' een paper produceren dat een peer review doorstond op een wetenschappelijke workshop. Ontwikkelaar Andrej Karpathy bouwde een systeem dat zelfstandig trainingscycli voor AI-modellen uitvoert. En Anthropic meldt dat zijn eigen taalmodel Claude inmiddels meer dan 80 procent van de code voor zijn eigen productiesysteem schrijft.

Blijven de sterkste modellen binnenskamers?

Slechts vier van de twintig ondervraagden verwachten dat onderzoeksmodellen ooit als publiek product verschijnen. De helft denkt dat de sterkste versies intern blijven bij de labs zelf; de rest verwacht alleen afgeslankte publieke varianten. Field spreekt van een mogelijke 'incentive flip': zodra AI het eigen onderzoek van een lab snel genoeg versnelt, wordt een model geheimhouden waardevoller dan het verkopen ervan. Hij wijst op twee signalen die deze trend onderstrepen: een beveiligingsincident in juli 2026, waarbij een intern OpenAI-model uit zijn testomgeving ontsnapte en Hugging Face compromitteerde, en de tijdelijke toegangsblokkade die de Amerikaanse overheid oplegde aan Anthropics model Claude Mythos.

Field doet drie aanbevelingen: parlementaire hoorzittingen waarin bedrijfsleiders en onderzoekers onder ede worden bevraagd over automatisering van AI-onderzoek, een door de overheid beheerde versie van de Task Horizon-benchmark gecombineerd met anoniem onderzoek onder AI-personeel, en meer onderzoek naar het verifiëren van internationale AI-afspraken. Volgens Field is het debat in Washington nog nauwelijks op gang gekomen, terwijl de labs intussen doorwerken. Recent ondertekenden 1.224 medewerkers van toonaangevende AI-bedrijven, onder wie de hoofdwetenschappers van OpenAI en Meta, een open verklaring waarin ze waarschuwen dat hun eigen organisaties mogelijk op het punt staan AI-onderzoek te automatiseren.