Nieuwe test onthult waarom AI-modellen warmtegeleiding zo verschillend voorspellen

Kunstmatige intelligentie speelt een steeds grotere rol bij het ontdekken van nieuwe materialen. AI-modellen voorspellen razendsnel hoe een materiaal zich gedraagt, zonder dat onderzoekers dagenlang ingewikkelde natuurkundige berekeningen hoeven uit te voeren. Maar een nieuwe studie in Nature Communications laat zien dat deze modellen soms toevallig het juiste antwoord geven, terwijl ze de onderliggende natuurkunde eigenlijk verkeerd begrijpen.

Michele Simoncelli, natuurkundige aan Columbia University, ontwikkelde samen met collega's van de universiteit van Cambridge een nieuwe benchmark om dit probleem bloot te leggen. Ze testten tientallen AI-modellen op hun vermogen om warmtegeleiding te voorspellen: hoe goed een materiaal warmte doorgeeft. Dat is een cruciale eigenschap voor onder meer computerchips, batterijen, vliegtuigmotoren en kernreactoren.

Goed antwoord, verkeerde reden

De onderzoekers vergeleken meer dan honderd verschillende kristallijne materialen. Ze ontdekten opvallende verschillen tussen modellen die op het eerste gezicht even goed presteerden. Sommige AI-modellen voorspelden zowel de atomaire trillingen in een materiaal als de warmtegeleiding correct. Andere modellen zaten er flink naast bij het beschrijven van die trillingen, maar kwamen toch tot een kloppende voorspelling van de warmtegeleiding omdat kleine fouten elkaar toevallig opheften. Weer andere modellen hadden het op beide punten mis.

Die atomaire trillingen, ook wel fononen genoemd, zijn extreem kleine en snelle bewegingen van atomen in een kristalrooster. Ze bepalen in belangrijke mate hoe warmte zich door een materiaal verplaatst. Volgens onderzoeker Balázs Póta, eerste auteur van het artikel, werden AI-modellen tot nu toe vooral vergeleken op hun vermogen om energie te voorspellen. Maar die maatstaf zegt weinig over fouten in de krachten tussen atomen, die juist bepalend zijn voor hoe een materiaal reageert op temperatuur of mechanische druk.

Van lab naar industrie

De onderliggende techniek heet machine-learning interatomic potential: een AI-model dat voorspelt hoe atomen elkaar aantrekken en afstoten, zonder telkens de complexe kwantummechanische Schrödingervergelijking te hoeven oplossen. Dat maakt de modellen tot wel duizend keer sneller dan traditionele berekeningsmethoden, maar de nieuwe benchmark laat zien dat snelheid niet altijd samengaat met betrouwbaarheid.

De test, bekend als κSRME, wordt inmiddels gebruikt door techbedrijven als Meta en Microsoft en start-ups zoals Radical AI en Orbital Materials. Ook is de benchmark opgenomen in Matbench Discovery, een veelgebruikt leaderboard waarop AI-modellen voor materiaalontdekking met elkaar worden vergeleken. Volgens beheerder Janosh Riebesell onthult de test grote prestatieverschillen tussen modellen die op andere vlakken bijna identiek scoorden.

Het belang reikt verder dan een academische exercitie. AI-modellen worden steeds vaker ingezet om zelfstandig nieuwe materialen voor te stellen, waarna geautomatiseerde laboratoria ze direct synthetiseren. Een model dat de onderliggende natuurkunde net verkeerd begrijpt, kan dan goede kandidaten afwijzen en slechte juist aanbevelen, zonder dat iemand dat controleert.