AI die medische notities checkt, mist juist de weggelaten informatie

Ziekenhuizen en huisartsenpraktijken gebruiken in toenemende mate zogeheten ambient AI-scribes: systemen die meeluisteren met een consult en automatisch een medisch verslag opstellen. Dat scheelt artsen tijd, maar eerdere audits laten zien dat de meest voorkomende fout in deze verslagen omissie is: iets dat tijdens het gesprek wél is besproken, maar niet in de notitie terechtkomt. Om dat te controleren, zetten softwaremakers vaak een tweede AI in als 'rechter': deze taalmodel leest het verslag naast de transcriptie van het gesprek en moet fouten signaleren.

Onderzoekers van onder anderen Sebastian Fox en collega's onderzochten of die AI-rechters omissies daadwerkelijk opsporen. Ze bouwden daarvoor een benchmark van 500 zorgvuldig samengestelde notitieparen: 298 waarbij een specifiek feit met zekerheid ontbreekt, en 202 controlegevallen met juist toegevoegde of veranderde informatie.

AI-rechters missen weggelaten informatie

De resultaten zijn opvallend. Acht verschillende ontwerpen van AI-rechters werden getest op hun vermogen om een foutieve notitie te onderscheiden van een correcte. Bij toegevoegde of veranderde informatie scoorden de systemen tussen de 0,79 en 0,94 (waarbij 0,50 gelijk staat aan puur gokken). Bij weggelaten informatie zakte die score naar 0,50 tot 0,63 - nauwelijks beter dan een muntje opgooien. Zelfs met andere bewoordingen, stemmingsprocedures of geavanceerde prompt-optimalisatie bleef betrouwbare omissiedetectie uit.

De oplossing: eerst checken, dan vergelijken

Wat wél werkte, was het herstructureren van de taak. In plaats van het verslag in één keer te beoordelen, laten de onderzoekers de AI eerst alle feiten uit het gesprek oplijsten, en vervolgens per feit controleren of het in de notitie terugkomt - vergelijkbaar met rubricverificatie. Twee varianten van deze aanpak bleken effectief: een stapsgewijze pijplijn die elk feit apart checkt, en een eenmalige AI-oproep waarvan de prompt is geoptimaliseerd met een techniek genaamd GEPA. De pijplijn benoemt exact welk feit ontbreekt en hoe ernstig dat is, met slechts 2,7 procent valse meldingen. De snellere, goedkopere eenmalige variant detecteert meer omissies (36,9 tegenover 24,6 procent) tegen 6,2 procent valse meldingen, voor een tiende van de kosten per notitie.

Een arts uit het onderzoeksteam beoordeelde handmatig 70 gevallen waarin beide methodes het oneens waren, en koos daarbij tien van de tien keer voor de pijplijn. Een tweede, onafhankelijke arts bevestigde de ernstclassificatie. Toen de onderzoekers de methode loslieten op echte verslagen van drie commerciële AI-scribes, bleek geen enkele drempelwaarde uit de benchmark direct overdraagbaar - maar na herijking versloeg de eenmalige aanpak alsnog de beste van de acht oorspronkelijke AI-rechters, met half zoveel valse meldingen. Eén probleem blijft hardnekkig: als een weggelaten feit elders in de notitie alsnog wordt genoemd, missen beide methodes dat verband nog steeds.