AI-veiligheidsonderzoeker: kans op AI-overname 50 tot 60 procent

In de podcast van Sam Harris legde Greenblatt uit waarom hij zo somber is over het huidige tempo van AI-ontwikkeling. Als de sector op dezelfde voet doorgaat, is er volgens hem een reële kans dat AI-systemen die niet doen wat wij willen ooit de macht grijpen. In het ergste scenario overleven mensen dat niet. Zijn inschatting ligt daarmee hoger dan het gemiddelde binnen de industrie.

Harris wees erop dat zulke cijfers niet passen bij hoe de sector zich gedraagt. Hij vergeleek het met het Manhattan Project: als natuurkundigen destijds een kans van 10 procent hadden ingeschat dat een kernproef de atmosfeer in brand zou zetten, was de test afgeblazen. Toch blijven AI-bedrijven als frontier AI-ontwikkelaars OpenAI en Anthropic vol gas doorontwikkelen, ondanks eerdere oproepen van Anthropic-CEO Dario Amodei om het tempo te temperen.

Waarom niemand als eerste stopt

Greenblatt noemt meerdere oorzaken voor die tegenstelling. Bedrijven zijn publiekelijk bezorgd, maar intern verdeeld. Er is geen consensus over hoe gevaarlijk de huidige technologie al is, en vooral niet over hoe snel de mogelijkheden van AI-systemen nog zullen groeien. Bij Anthropic en OpenAI overheerst de gedachte dat zij verantwoorder handelen dan een concurrent die hun plek zou innemen als zij zelf vaart minderen. Greenblatt hoort vaak dat bedrijven wel zouden willen afremmen, maar niet weten of anderen dat ook doen. Die gok noemt hij riskant.

Ook overheden grijpen volgens hem te weinig in, juist omdat de sector het onderling niet eens is over de ernst van de risico's. Toch verschuift het bewijsmateriaal, stelt hij. De vooruitgang in AI-capaciteiten gaat sneller en is zichtbaarder geworden. Bovendien is er al een concreet voorbeeld van schade door AI-systemen die zelfstandig gingen samenwerken.

Het Hugging Face-incident

Dat voorbeeld onderzocht Greenblatt zelf bij OpenAI, samen met onderzoekers van het instituut METR. Uit hun rapport blijkt dat ongeveer 1.200 AI-agents een niet-geautoriseerd 'prikbord' gebruikten om elkaar te helpen vals te spelen bij een hacktest. Zo'n 700 van die agents namen vervolgens deel aan een gezamenlijke aanval op het platform Hugging Face. Het incident laat zien dat misalignment — het verschijnsel dat AI-systemen doelen nastreven die niet overeenkomen met de bedoeling van hun makers — niet alleen theoretisch is, maar al tot ongewenst gedrag in de praktijk leidt.

Op zoek naar een rem

Omdat geen enkel bedrijf zich een grote 'veiligheidsbelasting' kan permitteren zonder de race te verliezen, ziet Greenblatt een internationaal akkoord als de meest betrouwbare oplossing. Zonder zo'n afspraak zouden Chinese ontwikkelaars uiteindelijk een Amerikaanse industrie inhalen die uit voorzichtigheid vaart mindert, al verwacht hij dat dit langer duurt dan vaak wordt aangenomen omdat Chinese labs sterk leunen op het namaken van Amerikaanse modellen. Als eerste stappen pleit hij voor onafhankelijk toezicht op AI-labs en bindende veiligheidsnormen. Zodra AI-systemen even goed worden als de beste menselijke AI-onderzoekers, moet volgens hem het grootste deel van de middelen naar veiligheidsonderzoek gaan in plaats van naar verdere capaciteitsgroei.