Anthropic blokkeert massale diefstal van Claude's 'denkstappen'

Grote taalmodellen zoals Claude kosten honderden miljoenen dollars om te trainen. Concurrenten kunnen die investering omzeilen door het model massaal te bevragen en de antwoorden te gebruiken om een eigen, goedkoper model te trainen. Dat proces heet distillatie: de kennis van een duur model wordt 'gedestilleerd' in een kleiner, zelfgebouwd model. Zie ook de distillatie-aanval als beveiligingsprobleem.

Denkstappen als doelwit

Bij Claude gaat het niet alleen om de uiteindelijke antwoorden, maar vooral om het zogeheten redeneerspoor: de tussenstappen die het model doorloopt voordat het met een antwoord komt. Dat spoor bestaat uit kleine tekstfragmenten, ook wel tokens genoemd, en verraadt precies hoe het model tot zijn conclusies komt. Wie dat spoor op grote schaal binnenhaalt, kan een eigen model trainen dat bijna even goed redeneert als Claude, zonder de dure ontwikkeling zelf te hoeven doen. Volgens Anthropic gebruikten aanvallers hiervoor netwerken van honderdduizenden nepaccounts. Door voortdurend vragen te stellen aan Claude en de antwoorden inclusief redeneerstappen te verzamelen, bouwden ze in feite een gratis kopieermachine voor het model.

Chinese bedrijven genoemd

Anthropic noemt twee Chinese bedrijven met naam. Zhipu zou via deze methode cybervaardigheden van leidende Amerikaanse AI-modellen hebben overgenomen voor zijn eigen model GLM-5.3. Moonshot zou vragen heimelijk via Claude hebben laten lopen om zo mee te profiteren van de kennis van het model, zonder daarvoor te betalen. Anthropic waarschuwt dat gestolen vaardigheden op deze manier kunnen opduiken in buitenlandse militaire of surveillancesystemen, buiten het zicht en de controle van de oorspronkelijke ontwikkelaar.

Classificatie en accountbans

Om de diefstal te stoppen heeft Anthropic de toegang tot de interne redeneerstappen van Claude verder afgeschermd. Daarnaast draait er een classificatiesysteem dat via chain-of-thought-monitoring patronen herkent die wijzen op grootschalige extractiepogingen. Accounts die worden gemarkeerd, worden automatisch geblokkeerd. Volgens het bedrijf zijn inmiddels tienduizenden accounts uitgeschakeld, en daalde het aantal geslaagde distillatiepogingen sterk nadat de maatregelen van kracht werden. Anthropic roept andere AI-bedrijven op om vergelijkbare bescherming in te voeren. Het bedrijf geeft wel toe dat de aanpak niet waterdicht is: ook gewone, legitieme gebruikers lopen soms tegen de filters aan en worden onterecht geblokkeerd. Dat laat zien hoe moeilijk het is om onderscheid te maken tussen een onderzoeker die veel vragen stelt en een geautomatiseerd netwerk dat een model systematisch leegtrekt.