GPT-6 Astra leest de 'cijferbrij' van AI-modellen en repareert ze direct

Een AI-model trainen is normaal gesproken een kostbaar en tijdrovend proces. Het model krijgt enorme hoeveelheden data te verwerken en past daarbij stap voor stap duizenden tot miljarden interne cijfers aan, de zogeheten gewichten. Die gewichten bepalen samen hoe een model reageert op een vraag of welke zet het doet in een spel. Normaal gesproken is zo'n cijfertabel voor mensen volkomen onleesbaar. Onderzoekers van het Amerikaanse MIT laten nu zien dat het taalmodel GPT-6 Astra van OpenAI die cijferbrij wél kan doorgronden, en zelfs gericht kan aanpassen zonder nieuwe training.

Astra herkent spelletjes puur uit cijfers

De onderzoekers noemen hun aanpak 'Weight-Space Programming'. In plaats van een model duur opnieuw te trainen, gedraagt Astra zich als een monteur die losse knoppen bijstelt. In diverse testen kreeg Astra de ruwe gewichten van al getrainde netwerken voorgelegd, zonder toegang tot de originele trainingsdata en zonder het model zelf te kunnen laten draaien. Astra kon correct bepalen welk van vier computerspelletjes een netwerk had geleerd te spelen, en herkende welke basisvormen een beeldgenerator produceerde. Ook achterhaalde het model in welke taal kleinere taalmodellen waren getraind. Lastiger werd het bij een subtielere vraag: welk van twee bijgetrainde taalmodellen was zo afgesteld dat het gebruikers altijd gelijk geeft, ook wel 'sycofantisch' gedrag genoemd. Uit de gewichten alleen kon Astra dat verschil niet zien. Pas toen het ook mocht kijken naar wat de modellen tijdens het verwerken van tekst precies aandacht gaven, herkende het de meegaande versie telkens correct.

Modellen zonder training verslaan goed getrainde concurrenten

Nog opvallender: Astra schreef zelf, zonder enige training, de gewichten voor modellen die drie simpele computerspelletjes moesten spelen. Het ging daarbij alleen uit van de spelregels en de programmeercode. Bij het spel Breakout haalde Astra's model gemiddeld 517 punten, tegen 25 punten voor een model dat via de gangbare methode honderd miljoen speelrondes had getraind. Bij twee andere spelletjes bleef Astra achter bij de langst getrainde versies. Voor het bordspel Go op een verkleind bord van 9 bij 9 vakjes schreef Astra de gewichten van een netwerk met ongeveer 1,5 miljoen parameters, en verbeterde dat in vijftig testronden tot het een model verslaan dat op ruim 20 miljoen partijen was getraind.

Gerichte reparatie van een bestaand taalmodel

Het meest praktische experiment betrof het taalmodel Qwen3.5-0.8B. Astra kreeg de opdracht de rekenvaardigheid te verbeteren en ontdekte een bekend probleem: het model raakte vaak verstrikt in 'denklussen', waarbij het dezelfde tekst eindeloos herhaalt zonder tot een antwoord te komen. Astra paste vervolgens maar 0,016 procent van alle gewichten aan. Het resultaat: de score op de rekenbenchmark MATH-500 steeg van 7,9 naar 48,1 procent, en het vermogen om instructies op te volgen verbeterde van 21 naar 62 procent. Bij een kleiner model dat zelden in zo'n lus terechtkwam, lukte een vergelijkbare verbetering niet. De onderzoekers denken dat Astra bij Qwen een blokkade wegnam die al aanwezige capaciteiten onderdrukte, maar dat volledig ontbrekende vaardigheden niet simpelweg door het herschrijven van gewichten zijn toe te voegen. AI-pionier Jürgen Schmidhuber noemde het idee 'oude kost' en verwees naar eigen werk uit de jaren negentig; de onderzoekers erkennen dat, maar wijzen erop dat huidige taalmodellen nu voor het eerst goed kunnen vertalen tussen menselijke taal en de cijfers van een netwerk.