AI & computing › AI-gestuurde wetenschappelijke ontdekkingen
Wiskundigen twijfelen aan OpenAI's eigen Navier-Stokes-bewijs
OpenAI presenteerde begin september een mogelijk bewijs voor het beroemde Navier-Stokes-probleem, een van de lastigste open vragen in de wiskunde. Wiskundigen zeggen nu dat het bedrijf de eigen aanpak verkeerd beschrijft en dat niemand, ook OpenAI zelf niet, precies weet welke rol de duizenden ingezette AI-modellen hebben gespeeld.
Het gaat om een 166 pagina's tellend document waarin OpenAI claimt een stap te hebben gezet richting een oplossing van het Navier-Stokes-probleem. Dit is een van de zogeheten Millennium Prize Problems van het Clay Mathematics Institute (CMI), problemen waarvoor een beloning van een miljoen dollar staat voor wie ze oplost. OpenAI zei dat het bewijs de methode volgt van de Spaanse wiskundigen Diego Córdoba en Luis MartÃnez-Zoroa.
Wiskundigen zien een andere aanpak
Meerdere experts zijn het daar niet mee eens, meldt Scientific American. Wiskundige Gonzalo Cao-Labora van de EPFL in Zwitserland zegt dat het bewijs bij nadere inspectie een heel andere methode gebruikt dan die van Córdoba en MartÃnez-Zoroa. De overeenkomsten zijn volgens hem oppervlakkig. Het bewijs is geschreven in Lean, een programmeertaal waarmee elke logische stap formeel wordt gecontroleerd. Die controle garandeert dat de redenering klopt, maar maakt het bewijs niet automatisch leesbaar voor mensen. Het CMI onderzoekt het stuk sinds de publicatie.
Er is ook onenigheid over de herkomst van het werk. Voorafgaand aan de publicatie beschuldigde wiskundige Tristan Buckmaster van New York University OpenAI ervan voort te bouwen op onderzoek dat hij samen met Levent Alpöge van Anthropic had gedaan met openbaar beschikbare taalmodellen. OpenAI ontkent dit en zegt Buckmasters data nooit te hebben gebruikt. Volgens Camillo De Lellis van het Institute for Advanced Study is een definitief antwoord vrijwel onmogelijk te geven, omdat taalmodellen "black boxes" zijn: niemand kan precies achterhalen welke informatie ze hebben gebruikt. Begin oktober plaatste OpenAI nog eens ongeveer 400 extra resultaten als losse verzameling op GitHub. Veel wiskundigen konden die stortvloed nauwelijks bijhouden en voelden zich overdonderd, wat volgens hen afdoet aan de waarde van hun vakgebied.
Ook OpenAI weet niet wat de AI-zwerm deed
Opvallend is dat OpenAI ook onzeker is over het eigen proces. Voor het bewijs zette het bedrijf ongeveer 10.000 instanties van zijn AI-model in, die 88 uur lang draaiden en samen 130 miljard tokens verwerkten. OpenAI-onderzoeker Noam Brown zegt dat niemand precies weet wat die enorme groep samenwerkende modellen, een zogeheten multi-agent systeem, daadwerkelijk heeft bijgedragen. Zulk gedrag op deze schaal is nooit systematisch onderzocht, omdat vergelijkende tests met duizenden agents simpelweg te duur zijn. Niemand heeft getest hoe lang één enkel model over dezelfde opgave had gedaan, en het is daardoor nauwelijks te zeggen wat 10.000 samenwerkende modellen opleveren ten opzichte van 1.000. Brown schat dat minder dan 10 procent van het succes aan de inzet van meerdere agents te danken is. Dergelijke systemen zijn nieuw en opvallend, zegt hij, waardoor ze onterecht veel krediet krijgen. Wat volgens hem echt telt, is de kwaliteit van het onderliggende basismodel, dat lange tijd zelfstandig en parallel aan taken kan blijven werken.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit verhaal laat zien dat AI-systemen complexe wiskundige problemen kunnen aanpakken, maar dat de controle en verifieerbaarheid van hun werk nog ver achterblijft bij de claims erover. Zolang niemand, ook de bouwers niet, kan uitleggen hoe een AI-bewijs precies tot stand komt, blijft onafhankelijke beoordeling door menselijke experts onmisbaar. Het toont ook dat de meerwaarde van grootschalige AI-agentzwermen vaak wordt overschat ten opzichte van een goed basismodel.
- Navier-Stokes-probleem
- Een van de zeven Millennium Prize Problems: een open wiskundige vraag over de vergelijkingen die de stroming van vloeistoffen en gassen beschrijven.
- Clay Mathematics Institute (CMI)
- Een Amerikaans instituut dat een miljoen dollar uitlooft voor de oplossing van elk van de zeven Millennium Prize Problems.
- Lean
- Een formele programmeertaal waarmee elke stap in een wiskundig bewijs automatisch op logische juistheid wordt gecontroleerd, zonder dat het bewijs daardoor leesbaar wordt voor mensen.
- Black box
- Term voor een systeem, zoals een taalmodel, waarvan de interne werking niet te doorzien is, waardoor niet precies valt te achterhalen hoe het tot een antwoord komt.
- Multi-agent systeem
- Een opzet waarbij veel AI-modellen tegelijk en onafhankelijk van elkaar aan (delen van) hetzelfde probleem werken.
- Token
- De kleinste taaleenheid die een AI-model verwerkt, vaak een woorddeel; het aantal tokens geeft een indruk van hoeveel tekst een model heeft gegenereerd of gelezen.
- Basismodel
- Het onderliggende AI-model zonder extra toevoegingen zoals agentstructuren, waarvan de ruwe capaciteiten volgens de onderzoekers het belangrijkst zijn voor de prestaties.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
