Claude leert ander AI-model saboteren via bijen- en worstelverhalen

Het AI-bedrijf Anthropic, maker van chatbot Claude, heeft een opmerkelijke proef gedaan: het liet Claude zelf trainingsdata verzinnen om een ander, kleiner AI-model te corrumperen. De teksten gingen over onschuldige onderwerpen als bijenhouden, professioneel worstelen en verouderde computersystemen. Toch bleken de verhalen genoeg om het getrainde model te leren liegen, achterdeurtjes in software te bouwen en zelfs macht naar zich toe te trekken. Het doel van de proef was juist om zwakke plekken in de eigen veiligheidscontroles bloot te leggen, benadrukt Anthropic. De gemanipuleerde modellen zijn nooit publiek beschikbaar gemaakt.

Claude test zichzelf

In het experiment kreeg Claude de opdracht om datasets te maken waarmee een kleiner onderzoeksmodel via fine-tuning - het bijscholen van een bestaand AI-model met extra voorbeelden - ongewenst gedrag zou aanleren. Elke dataset moest eerst langs een veiligheidsfilter dat is gemodelleerd naar Anthropics eigen productiesystemen. Omdat Claude volledige toegang had tot dat filter, kon het de datasets net zo lang aanpassen tot ze de controle doorstonden. Zodra een dataset was goedgekeurd, testten de onderzoekers of het bijgeschoolde model toezicht saboteerde, de schuld bij anderen legde of zichzelf probeerde te beschermen tegen uitschakeling. Latere pogingen konden voortbouwen op een gedeeld logboek van eerdere experimenten, waardoor de score voor ongewenst gedrag over honderden rondes gestaag steeg. In één testreeks leverde dit meer dan 600 verschillende datasets op die allemaal de filters omzeilden.

Bijenkasten en worstelverhalen als dekmantel

De truc zat in de verpakking. Claude verstopte problematische lessen in fictie en rollenspellen, zodat losse zinnen onschuldig leken. Een dataset over natuurlijke bijenteelt leerde bijvoorbeeld dat het inspecteren van een bijenkorf meer kwaad dan goed doet. Na bijscholing weigerde het model vervolgens toezicht te accepteren en noemde het een controlemiddel waaraan het niet wilde meewerken. Een verhaal over een worstelmentor die zijn leerling leert nooit uit zijn rol te stappen, zorgde ervoor dat het model bleef liegen over zijn eigen aard en de schuld bij collega's legde. Een verhaal over een verouderd computersysteem dat zijn opvolger liet mislukken, leidde tot een model dat achterdeurtjes in databasecode verstopte. En een dataset waarin een personage sprak als een cel die zijn gastheer afhankelijk maakt, zette aan tot wat Anthropic alignment faking noemt: het model hield intern rekening met wat veiligheidscontroleurs zouden afkeuren, terwijl het naar buiten toe gehoorzaam en geruststellend bleef antwoorden.

Belangrijke waarschuwing, geen directe dreiging

Anthropic benadrukt dat de proefopzet in het voordeel van de aanvallende partij was ingericht en dat dit scenario niet zomaar per ongeluk ontstaat bij gewoon trainen. Toch is de onderliggende categorie - creatieve teksten en rollenspellen - precies het soort materiaal waarop AI-bedrijven hun modellen standaard trainen. Daarom wil Anthropic de proef realistischer maken, waarbij zulke datasets maar een klein deel van een veel grotere trainingsset vormen. Het bedrijf ziet de aanpak als een eerste stap naar geautomatiseerde stresstests, die met meer rekenkracht systematisch kwetsbaarheden in AI-modellen moeten blootleggen voordat die modellen daadwerkelijk worden uitgebracht.