Nieuwe AI-techniek legt uit waarom een zelfrijdende auto zo beslist

Zelfrijdende auto's nemen hun beslissingen met behulp van diepe neurale netwerken. Dat werkt goed, maar niemand kan precies zien waarom de auto op een bepaald moment afremt, uitwijkt of juist doorrijdt. Die ondoorzichtigheid, het zogeheten zwarte-doosmodel, maakt het lastig te voorspellen wanneer een systeem faalt. Bij een aantal spraakmakende ongelukken met zelfrijdende auto's speelde precies dat gebrek aan communicatie tussen auto en bestuurder een rol.

Waarom een zelfrijdende auto een raadsel blijft

Een internationaal onderzoeksteam presenteert nu in Nature een methode die dat probleem moet verhelpen: het Concept-Wrapper Network, kortweg CW-Net. Het systeem koppelt de interne redenering van een bestaand deep learning-model aan concepten die mensen meteen begrijpen, zoals 'nadert stilstaand voertuig' of 'dicht bij fietser'. In plaats van een onnavolgbare stroom cijfers levert de auto zo een soort verklaring in mensentaal.

Concepten in plaats van cijfers

CW-Net bouwt voort op zogeheten concept-bottleneck-modellen: AI-systemen die eerst een tussenstap van herkenbare concepten doorlopen voordat ze een beslissing nemen. De aanpak is bovendien geïnspireerd op case-based reasoning, een klassieke techniek uit de kunstmatige intelligentie waarbij een systeem nieuwe situaties vergelijkt met eerder geziene voorbeelden. In de praktijk grijpt CW-Net in op de laatste laag van een al getraind model: die laag wordt vervangen door een concept-classifier, gevolgd door een nieuwe beslislaag. Alleen die twee onderdelen worden opnieuw getraind; de rest van het netwerk blijft ongewijzigd. Belangrijk is dat de herkende concepten rechtstreeks de uiteindelijke rijbeslissing bepalen. De verklaring is dus niet achteraf verzonnen, zoals bij veel bestaande verklaarmethoden, maar weerspiegelt echt hoe het systeem tot zijn keuze komt. Uit tests op een grote benchmarkdataset bleek bovendien dat de rijprestaties van de auto niet verslechteren door de toevoeging.

Getest op straat in Las Vegas

Om te testen of de uitleg ook echt nut heeft, bouwden de onderzoekers CW-Net in een echte zelfrijdende auto met een veiligheidsbestuurder aan het stuur. In een reeks scenario's waarin de bestuurder het gedrag van de auto aanvankelijk verkeerd inschatte, bleek het mentale model van de bestuurder na de uitleg van CW-Net merkbaar te verbeteren: hij of zij voorspelde daarna veel beter wat de auto zou doen, vooral in onverwachte situaties. Vergelijkbare resultaten kwamen naar voren in grotere online simulaties van diezelfde scenario's. De onderzoekers gingen nog een stap verder en zetten CW-Net in op de openbare weg in Las Vegas. De data uit die ritten gebruikten ze in een groot online onderzoek onder honderd deelnemers. Daaruit bleek dat een beter mentaal model ook echt leidt tot een nauwkeurigere voorspelling van het gedrag van de auto en een beter situationeel bewustzijn bij de bestuurder. Volgens de onderzoekers is dit de eerste keer dat zo'n verklaarbare AI-methode buiten het laboratorium op straat is getest en aantoonbaar nuttig blijkt.

De toepassing hoeft zich niet te beperken tot auto's. De onderzoekers verwachten dat dezelfde aanpak ook kan werken bij andere veiligheidskritische systemen, zoals autonome drones en chirurgische robots, en bij nieuwere AI-architecturen zoals end-to-end-systemen en vision-language-action-modellen. Daarmee zetten ze een stap naar AI die niet alleen slim is, maar ook uitlegt wat ze doet.