Anthropic claimt: AI leidt kwart van eigen onderzoek, maar cijfer is misleidend

Het Amerikaanse AI-bedrijf Anthropic, maker van chatbot Claude, zegt dat zijn eigen AI-model inmiddels 26 procent van het onderzoekswerk aan toekomstige modellen "leidt". Het cijfer klinkt indrukwekkend, maar de meetlat is vaag, de score komt van Claude zelf, en "leidt" betekent minder dan het lijkt.

Een schaal van nul tot vijf

Anthropic gebruikt voor de meting een schaal van onderzoeksbureau Epoch AI, die loopt van AL0 (geen AI-inbreng) tot AL5 (volledig autonoom). In augustus 2026 zat 26 procent van al het ontwikkelwerk bij Anthropic op niveau AL4, tegen minder dan 1 procent in februari. Meer dan 90 procent van het werk haalt inmiddels minstens niveau AL3. Niveau AL5, waarbij agentic AI volledig zelfstandig werkt, bereikt Claude nergens.

Epoch AI noemt niveau AL4 zelf "AI leidt", en dat label gebruikte Anthropic in de kop van zijn rapport. Maar wie dat associeert met volledige autonomie, zit ernaast: dat is precies waar AL5 voor staat. Een voorbeeld van Anthropic laat zien wat AL4 in de praktijk betekent. Een engineer geeft Claude een bugmelding. Het model analyseert, repareert en test de fout zelfstandig, maar mag de code niet zelf doorvoeren. Een mens leest het rapport en beslist. De opdracht en de richting komen dus nog altijd van de mens. Het verschil met niveau AL3 ("werkt samen") is vooral dat Claude niet meer vastloopt zodra het een probleem tegenkomt.

Wie beoordeelt de beoordelaar?

Opvallend: Claude scoorde zijn eigen werk. AI-agents verzamelden bewijsmateriaal uit Slack-gesprekken en interne documenten, waarna een ander Claude-model de niveaus toekende. Anthropic geeft zelf toe dat deze "rechter" dezelfde fouten kan maken als het systeem dat hij beoordeelt.

Een interne steekproef van het bedrijf onderstreept hoe wankel de grens tussen "samenwerken" en "leiden" is. Medewerkers kregen de vraag hoe geautomatiseerd hun eigen werkgebied is. Als twee mensen hetzelfde onderdeel beoordeelden, kwamen ze slechts in een derde van de gevallen op hetzelfde niveau uit. Het Claude-model dat de officiële scores toekende, kwam in 59 procent van de gevallen overeen met het menselijke oordeel. Bijna altijd, in 97 procent van de gevallen, zaten mens en model hooguit één niveau uit elkaar. Maar precies dat ene niveau is het verschil tussen "samenwerken" en "leiden". Of een taak meetelt voor die 26 procent, blijkt dus vaak een kwestie van interpretatie. Het percentage is bovendien gebaseerd op de tijd die medewerkers aan taken besteden, niet op het aantal beslissingen dat Claude neemt of de invloed die het heeft op de onderzoeksrichting.

Toezicht op 30.000 AI-agents tegelijk

Naast het autonomieniveau publiceert Anthropic twee andere cijfers. Op het meest gebruikte interne platform draaien gemiddeld zo'n 30.000 AI-agents tegelijk. Een realtime-controlesysteem checkt elke actie en moet bijvoorbeeld voorkomen dat een agent modelgewichten kopieert. Van meer dan een miljard beslissingen in augustus greep dit systeem in bij 0,002 procent. Een tweede, trager controlesysteem markeert wekelijks zo'n 100.000 logbestanden voor nader onderzoek, waarvan er ongeveer vijftig bij een mens terechtkomen. Anthropic erkent dat deze monitoring pas een paar maanden draait en dat niet zeker is of elk risicovol gedragspatroon wordt opgemerkt.

Het derde cijfer gaat over rekenkracht: in een steekproefweek in juli ging ongeveer 6 procent van alle rekenkracht voor AI-onderzoek naar veiligheidsonderzoek. Dat lage percentage betekent volgens Anthropic niet automatisch weinig inspanning, omdat veiligheidswerk vaak draait om het ontwerpen van experimenten, wat vooral onderzoekstijd kost en weinig rekenkracht. Een trainingsrun voor een nieuw model verslindt daarentegen enorme hoeveelheden capaciteit. Het bedrijf waarschuwt zelf dat de grens tussen veiligheidsonderzoek en het verbeteren van modelcapaciteiten vaag is, en dat elke ontwikkelaar van frontier-AI de verleiding voelt om die grens ruim te trekken.