Karpathy laat AI een boek omzetten in een 3D-wereld om te browsen

Andrej Karpathy, medeoprichter van OpenAI en tegenwoordig onderzoeker bij Anthropic, gaf het AI-model Claude Opus 5 een ongewone opdracht: verander de openingsalinea van Tolkiens 'The Lord of the Rings' in een werkende 3D-wereld. Het model ging aan de slag met Three.js, een populaire grafische bibliotheek waarmee 3D-graphics rechtstreeks in een webbrowser kunnen draaien. Na ongeveer twee uur rekenwerk en een budget van één miljoen tokens — omgerekend zo'n tien dollar aan rekenkosten — stond er een scene van 5.500 regels code. Karpathy zette de broncode online, zodat anderen de wereld kunnen afspelen en aanpassen.

Waarom de pelikaan-test is uitgeput

Karpathy's experiment is een reactie op wat inmiddels een bekende traditie is geworden in AI-kringen: de zogeheten 'vibe test'. Dit zijn informele, vaak absurde opdrachten waarmee onderzoekers en liefhebbers snel een gevoel krijgen van wat een nieuw AI-model kan, zonder dat het om een officiële wetenschappelijke meetlat gaat. Een bekend voorbeeld is de pelikaan-test van ontwikkelaar Simon Willison, waarbij een model gevraagd wordt een SVG-tekening te maken van een pelikaan op een fiets. Het idee: dit is zo'n vreemde combinatie dat een kant-en-klaar voorbeeld onmogelijk in de trainingsdata van het model kan zitten, waardoor je puur de creativiteit en het redeneervermogen test. Volgens Karpathy is deze test inmiddels 'bijna maximaal gehaald' door de nieuwste modellen, waardoor hij niet meer genoeg onderscheid laat zien tussen topmodellen. Een vergelijkbare aanpak dateert al uit 2023, toen Microsoft in zijn spraakmmakende 'Sparks of AGI'-paper liet zien hoe GPT-4 een eenhoorn kon tekenen met de programmeertaal TikZ, als bewijs voor ruimtelijk inzicht bij een model dat destijds alleen op tekst was getraind.

Zelf spelen, zelf fouten maken

Bij het Lord of the Rings-experiment plaatste en animeerde Claude Opus 5 zelfstandig objecten in de scène, zonder stap-voor-stap instructies. De audio kwam van het bedrijf Eleven Labs, gespecialiseerd in AI-gegenereerde spraak en geluid. Toch ging het niet foutloos: het model kan zijn eigen video-uitvoer niet rechtstreeks 'zien' en moest daarom vertrouwen op losse schermafbeeldingen om te controleren of de scène klopte. Dat leidde tot fouten in plaatsing en beweging van objecten. Karpathy noemt het resultaat dan ook 'ruw, maar leuk'. Hij ziet vooral potentieel in goedkope, op maat gemaakte game-werelden: omdat het model bijna gratis complete scenes kan bouwen, zouden gebruikers in de toekomst zelf een verhaal kunnen kiezen en daar automatisch een speelbare wereld omheen kunnen laten genereren, met henzelf als hoofdpersoon of bijfiguur. Andere gebruikers experimenteren inmiddels ook met Opus 5 om complete browsergames te bouwen, van first-person shooters tot Minecraft-achtige spellen. Karpathy benadrukt wel dat dit soort experimenten geen harde benchmarks opleveren, maar vooral vibe checks blijven: leuke, informele indrukken van AI-kunnen, geen wetenschappelijk bewijs.