Fields Medal-winnaar stapt over naar OpenAI voor AI-veiligheidsonderzoek

Jacob Tsimerman, hoogleraar getaltheorie aan de University of Toronto, gaat aan de slag bij OpenAI. Dat meldt zakenkrant The Wall Street Journal. Tsimerman ontving onlangs de Fields-medaille, de belangrijkste internationale onderscheiding in de wiskunde, en gaat zich bij het Amerikaanse AI-bedrijf richten op veiligheidsonderzoek. Volgens hem is AI een buitengewoon ingrijpende technologie waar de samenleving nog veel te weinig aandacht aan besteedt op het gebied van veiligheid.

Wiskunde tegen onvoorspelbare AI

Tsimerman denkt dat wiskundigen een belangrijke bijdrage kunnen leveren aan veiligere AI-systemen. De reden: huidige AI-modellen worden vooral empirisch ontwikkeld. Onderzoekers testen wat werkt, maar hebben weinig harde, wiskundige garanties over hoe een systeem zich in alle omstandigheden gedraagt. Dat maakt het lastig te voorspellen wanneer een AI-model onbedoeld gevaarlijk gedrag vertoont. Werk aan zogeheten superalignment moet dat soort risico's juist beheersbaar houden naarmate AI-systemen krachtiger worden.

Opvallend is dat Tsimerman vorig jaar zelf een wetenschappelijke paper publiceerde over wat hij "omnicide-scenario's" noemt: situaties waarin geavanceerde AI zou kunnen bijdragen aan het uitsterven van de mensheid. Die stellingname ligt gevoelig onder experts, van wie sommigen het risico juist bagatelliseren. Tsimerman benadrukt dat paniek niet de juiste reactie is, maar dat een eerlijke inschatting van de risico's wel nodig is. Hij verwacht bovendien dat AI op relatief korte termijn mensen gaat overtreffen in wiskundig onderzoek, een vakgebied dat lang gold als bolwerk van puur menselijk creatief denken.

Hoe slim is AI eigenlijk in wiskunde?

De overstap van Tsimerman komt op een moment dat de vooruitgang van AI in de wiskunde volop in de belangstelling staat. Demis Hassabis, voormalig topman van Google DeepMind, reageerde recent op de laatste AI-doorbraken in dit vakgebied. Hij noemt de vooruitgang wel degelijk indrukwekkend, maar nog geen fundamentele doorbraak zoals de legendarische zet "Move 37" van DeepMinds Go-programma AlphaGo. Die zet verraste in 2016 zelfs de beste menselijke spelers en gold als bewijs dat een machine tot origineel inzicht in staat was.

Voor een vergelijkbare doorbraak in de wiskunde zou AI volgens Hassabis een van de Millennium-prijsvraagstukken moeten oplossen: zeven beroemde, nog onopgeloste wiskundige problemen waarvoor een beloning van een miljoen dollar staat. Astra, het nieuwste model van OpenAI, faalde onlangs nog bij pogingen die problemen te kraken. Toch sluit Hassabis niet uit dat het slechts een kwestie van tijd is voordat een AI-model daarin wél slaagt. Onderzoekers als Tsimerman moeten er ondertussen voor zorgen dat de veiligheid van dit soort steeds krachtigere frontier AI gelijke tred houdt met de vooruitgang.