AI & computing › AI-gestuurde wetenschappelijke ontdekkingen
OpenAI-benchmark laat zien waar AI nog faalt bij medicijnonderzoek
OpenAI heeft een nieuwe test ontwikkeld om te meten hoe goed AI-modellen zijn in medicinale chemie, een cruciaal onderdeel van medicijnontwikkeling. Het blijkt dat modellen uitblinken in het herkennen van moleculaire structuren, maar flink struikelen zodra ze moeten voorspellen hoe een stof zich in het lichaam gedraagt.
Het ontwikkelen van nieuwe medicijnen is een proces van vallen en opstaan. Onderzoekers testen duizenden chemische verbindingen om te zien welke een ziekteverwekkend eiwit blokkeren, zonder dat het lichaam de stof te snel afbreekt of de darmen hem niet goed opnemen. OpenAI onderzocht of AI-modellen kunnen helpen bij dat afwegingsproces, met een nieuwe testset genaamd MedChemBench.
De test bestaat uit 99 opdrachten, gebaseerd op 117 wetenschappelijke publicaties en patenten over medicijnonderzoek. In totaal komen er 761 verschillende molecuulstructuren in voor. De onderzoekers lieten elf AI-modellen, waaronder het nieuwste GPT-6 Astra, vier soorten taken uitvoeren: het natekenen van molecuulstructuren, het redeneren over wetenschappelijke bevindingen, het rangschikken van chemische verbindingen en het voorspellen van cijfermatige eigenschappen zoals oplosbaarheid of afbraaksnelheid.
Sterk in tekenen, zwak in voorspellen
Op het gebied van structuurherkenning presteerde GPT-6 Astra uitstekend. Bij de hoogste redeneerinstelling, xhigh genoemd, scoorde het model 95,4 procent van de maximale punten voor het correct natekenen van complexe moleculen. In een test waarbij een ring van 18 atomen intact moest blijven, slaagde GPT-6 Astra daar tien keer op tien keer in. Concurrerende modellen deden het aanzienlijk slechter: GPT-5.6 Sol tekende per ongeluk een ring van maar 15 atomen, en GPT-5.6 Luna produceerde losse, niet-verbonden brokstukken van een molecuul. Zulke fouten zijn problematisch, omdat ze de identiteit van de bestudeerde stof veranderen en daarmee alle verdere voorspellingen onbetrouwbaar maken.
Bij het voorspellen van eigenschappen en het kiezen van de beste verbinding viel de score van GPT-6 Astra terug tot ongeveer de helft van de maximale punten. Een voorbeeldopdracht ging over remmers van het eiwit PRMT5, dat een rol speelt bij kankeronderzoek. De modellen kregen data over drie verwante verbindingen en moesten voorspellen hoe goed elke stof het eiwit zou remmen, door celwanden zou dringen en bestand zou zijn tegen afbraak door leverenzymen. Uit latere, voor de modellen verborgen gehouden laboratoriumresultaten bleek dat de ene verbinding beter het eiwit remde, terwijl de andere beter opgenomen werd en langzamer afbrak. Juist dat soort afwegingen, waarbij winst op het ene vlak verlies op een ander vlak betekent, bleek voor de modellen lastig te doorzien.
Geen vervanging voor laboratoriumwerk
OpenAI benadrukt dat de resultaten niet betekenen dat AI-modellen al klaar zijn om medicijnonderzoek over te nemen. De benchmark is gebaseerd op bestaande, gepubliceerde studies, waardoor niet valt uit te sluiten dat modellen tijdens hun training al met dit materiaal in aanraking zijn gekomen. Bovendien werkten de modellen zonder laboratoriuminstrumenten, zonder feedback en zonder de mogelijkheid om nieuwe experimenten te doen. MedChemBench is daarom vooral bedoeld als meetinstrument om voortgang en zwakke plekken in het redeneervermogen van AI-modellen in kaart te brengen, niet als bewijs dat deze systemen al echte medicijnen kunnen ontdekken.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? AI kan onderzoekers in de toekomst helpen om sneller door bergen chemische data te zoeken en kansrijke medicijnkandidaten te herkennen, wat het dure en trage proces van medicijnontwikkeling kan versnellen. Zolang modellen echter moeite hebben met het afwegen van tegenstrijdige eigenschappen, zoals werkzaamheid versus opname door het lichaam, blijft menselijke controle door chemici onmisbaar.
- Medicinale chemie
- Het vakgebied dat zich bezighoudt met het ontwerpen en verbeteren van chemische verbindingen die als medicijn kunnen dienen.
- MedChemBench
- De nieuwe testset van OpenAI waarmee wordt gemeten hoe goed AI-modellen zijn in het redeneren over medicinale chemie.
- Molecuulstructuur
- De exacte opbouw van een molecuul, inclusief hoe atomen onderling verbonden zijn en hoe ringen en vertakkingen zijn gevormd.
- Stereochemie
- De studie van de ruimtelijke rangschikking van atomen in een molecuul, die invloed heeft op hoe een stof in het lichaam werkt.
- PRMT5-remmer
- Een chemische verbinding die het eiwit PRMT5 blokkeert, wat relevant is voor de ontwikkeling van kankermedicijnen.
- Permeabiliteit
- De mate waarin een stof in staat is celwanden te doorkruisen, belangrijk voor de opname van een medicijn door het lichaam.
- Reasoning setting (redeneerinstelling)
- Een instelling die aangeeft hoeveel rekenkracht en redeneerstappen een AI-model gebruikt om tot een antwoord te komen; hogere instellingen zoals 'xhigh' leveren doorgaans betere resultaten.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.