mAP: het rapportcijfer voor AI die objecten herkent
Stel je voor dat een leerling honderd plaatjes krijgt en op elk plaatje alle honden, fietsen en verkeersborden moet omcirkelen en benoemen. Sommige antwoorden zijn perfect, andere net iets te ruim omcirkeld, en soms wordt een lantaarnpaal per ongeluk een fietser genoemd. Hoe geef je daar één eerlijk cijfer voor? Dat is precies het probleem dat mAP oplost voor kunstmatige intelligentie. Het is de standaardmaatstaf waarmee onderzoekers meten hoe goed een AI-systeem is in het herkennen en lokaliseren van objecten op foto's of video.
mAP staat voor mean Average Precision, oftewel gemiddelde gemiddelde precisie. Het klinkt als een dubbelop, maar dat zit in de wiskundige opbouw: eerst wordt per objectcategorie (hond, fiets, bord) een precisiescore berekend, en daarna wordt daarvan het gemiddelde genomen over alle categorieën. Als je in een nieuwsartikel leest dat een zelfrijdende auto of een beveiligingscamera-systeem 'een mAP van 55%' haalt, dan is dat het cijfer waarmee onderzoekers onderling vergelijken wie het beste model heeft gebouwd.
Wat is het precies?
Om mAP te begrijpen, moet je eerst weten wat objectdetectie is: een AI-model krijgt een afbeelding en moet daar rechthoekige kaders (bounding boxes) omheen tekenen bij elk object dat het herkent, met een label erbij zoals 'auto' of 'persoon'. De vraag is dan: hoe goed lijkt zo'n voorspeld kader op het echte, door mensen aangegeven kader?
Daarvoor gebruikt men IoU, de afkorting voor Intersection over Union (doorsnede gedeeld door vereniging). Je legt het voorspelde kader over het echte kader heen en berekent welk deel van de gezamenlijke oppervlakte overlapt. Een IoU van 1,0 betekent een perfecte match, een IoU van 0 betekent geen overlap. Meestal wordt een drempel gebruikt: pas als de overlap boven bijvoorbeeld 50% ligt, telt de voorspelling als 'raak' (een true positive).
Vervolgens komen twee bekende begrippen om de hoek kijken: precisie (van alle dingen die het model 'gevonden' zegt te hebben, hoeveel waren daadwerkelijk correct?) en recall (van alle objecten die er echt stonden, hoeveel heeft het model daadwerkelijk gevonden?). Er zit altijd een spanningsveld tussen deze twee: een model dat heel voorzichtig is, mist objecten (lage recall) maar heeft weinig foute meldingen (hoge precisie); een model dat overal wat ziet, vindt bijna alles (hoge recall) maar meldt ook veel onzin (lage precisie).
Door de gevoeligheid van het model geleidelijk te veranderen, ontstaat een precisie-recall-curve. De oppervlakte onder die curve, voor één objectcategorie, heet de Average Precision (AP). Neem je vervolgens het gemiddelde van de AP-waarden over alle categorieën in de dataset, dan krijg je de mean Average Precision (mAP) — één getal dat de algehele prestatie samenvat.
Een belangrijke nuance: niet elke benchmark rekent mAP op dezelfde manier. De oudere PASCAL VOC-competitie gebruikte een vaste IoU-drempel van 50%. De latere en veel gebruikte COCO-benchmark (Microsoft Common Objects in Context) is strenger en middelt de score over meerdere IoU-drempels, van 0,5 tot 0,95 in stapjes van 0,05 — vaak genoteerd als mAP@[.5:.95]. Dat maakt COCO-scores doorgaans lager en moeilijker te vergelijken met oudere PASCAL VOC-cijfers.
Wat wil men ermee bereiken?
Voordat er gestandaardiseerde metrics zoals mAP bestonden, was het lastig om onderzoeksclaims te vergelijken: iedereen gebruikte eigen datasets en eigen definities van 'succes', waardoor een 'beter' model soms gewoon een gunstiger gekozen test was. mAP geeft de onderzoeksgemeenschap een objectieve, herhaalbare maatstaf, zodat claims als 'ons model presteert beter dan de vorige generatie' daadwerkelijk controleerbaar zijn.
Dat heeft twee praktische gevolgen. Ten eerste maakt het competities en ranglijsten (leaderboards) mogelijk, waarbij onderzoeksteams wereldwijd hun modellen op dezelfde dataset testen en de scores publiekelijk vergelijken. Ten tweede geeft het ingenieurs die een detectiemodel willen inzetten — bijvoorbeeld in een fabriek, een drone of een app — een houvast om verschillende kant-en-klare modellen tegen elkaar af te wegen, samen met andere factoren zoals snelheid en rekenkracht.
Voorbeelden uit de praktijk
De PASCAL Visual Object Classes (VOC) Challenge, georganiseerd door onder meer de Universiteit van Oxford tussen 2005 en 2012, was een van de eerste grote benchmarks waarin mAP de centrale meetlat werd voor objectdetectie-onderzoek.
In 2014 introduceerde Microsoft de COCO-dataset (Common Objects in Context), met complexere, drukkere scènes en de eerder genoemde strengere mAP-berekening. COCO is sindsdien de facto standaard geworden waarop vrijwel elk nieuw detectiemodel wordt getest.
De populaire YOLO-modelfamilie ('You Only Look Once', met opeenvolgende versies van verschillende onderzoeksteams en het bedrijf Ultralytics) rapporteert bij elke nieuwe release de behaalde mAP-score op COCO, als bewijs van vooruitgang ten opzichte van eerdere versies.
In de zelfrijdende-autosector gebruiken benchmarks zoals de Waymo Open Dataset en nuScenes varianten van mAP om te meten hoe goed systemen voetgangers, fietsers en andere voertuigen herkennen, vaak uitgebreid naar drie dimensies voor afstand en diepte.
Ook in de medische beeldherkenning duikt mAP op: onderzoekers gebruiken de metric om te evalueren hoe goed AI-modellen bijvoorbeeld tumoren of afwijkingen op röntgen- en MRI-scans lokaliseren, al wordt daar vaak aangevuld met domeinspecifieke metrics vanwege de hoge inzet van foutieve diagnoses.
Hoe ver is de techniek?
mAP is een volwassen, breed geaccepteerde metric die al meer dan tien jaar de standaard is in objectdetectie-onderzoek. De scores zijn in die periode gestaag gestegen naarmate modellen en trainingsdata verbeterden, al blijven absolute vergelijkingen lastig omdat COCO-scores nu eenmaal strenger zijn dan de oudere PASCAL VOC-scores.
Toch is mAP geen perfecte maatstaf, en dat wordt in de onderzoeksgemeenschap ook erkend. De metric zegt niets over hoe snel een model werkt: een model met een hoge mAP kan in de praktijk te traag zijn voor toepassingen die in real time moeten reageren, zoals een zelfrijdende auto. Ook verbergt het ene mAP-getal grote verschillen tussen categorieën — een model kan uitstekend zijn in het herkennen van auto's maar juist zwak in het herkennen van fietsers, terwijl het totaalcijfer dat niet direct laat zien. Kleine objecten (denk aan een verkeersbord op grote afstand) zijn bovendien notoir lastig te detecteren en drukken zulke scores vaak extra naar beneden. Er is dan ook doorlopend discussie over aanvullende of alternatieve metrics, vooral in veiligheidskritische toepassingen zoals autonoom rijden, maar een breed geaccepteerde opvolger van mAP is er vooralsnog niet.
Wie werken eraan?
Microsoft Research beheert de COCO-dataset en -benchmark, die als referentiepunt dient voor het grootste deel van het hedendaagse objectdetectie-onderzoek. De Universiteit van Oxford, met onder meer wijlen onderzoeker Mark Everingham, legde met de PASCAL VOC-competitie de basis voor het gebruik van mAP als standaardmetric.
Het bedrijf Ultralytics onderhoudt populaire open-source implementaties van de YOLO-modellenreeks en publiceert bij elke release COCO mAP-scores. Techbedrijven als Google en autonome-voertuigenprojecten als Waymo gebruiken en publiceren eigen benchmarks met vergelijkbare metrics voor hun onderzoek naar beeldherkenning en zelfrijdende technologie.
Daarnaast speelt het platform Papers with Code een grote rol: het verzamelt automatisch de mAP-scores uit wetenschappelijke publicaties en toont ze in doorzoekbare ranglijsten, zodat de voortgang in het vakgebied voor iedereen inzichtelijk blijft. Vrijwel alle grote universiteiten en techbedrijven met een computervisie-onderzoeksgroep publiceren en vergelijken hun werk aan de hand van mAP-scores op deze en vergelijkbare benchmarks.