Beeldsegmentatie
Beeldsegmentatie is een techniek waarmee een computer een foto niet als één geheel bekijkt, maar pixel voor pixel opdeelt in betekenisvolle stukken. Denk aan een kleurplaat: in plaats van simpelweg te zeggen "dit is een straatfoto", tekent het systeem een nauwkeurige lijn om elke auto, elke voetganger, elk stuk trottoir en elke boom apart. Elk pixeltje krijgt een label, zodat de computer precies weet waar het ene object ophoudt en het andere begint.
Een vergelijkbaar voorbeeld: als je in een fotobewerkingsapp de achtergrond achter een portret vervangt, gebeurt er onder de motorkap iets vergelijkbaars. De software moet exact bepalen welke pixels bij de persoon horen en welke bij de achtergrond, tot op de haarlok nauwkeurig. Die precieze afbakening, geautomatiseerd en op grote schaal, is de kern van beeldsegmentatie. Het is een van de fundamentele bouwstenen van computervisie, het vakgebied waarin computers proberen te "zien" wat er in beelden gebeurt.
Wat is het precies?
Om beeldsegmentatie te begrijpen, helpt het om drie verwante taken naast elkaar te zetten. Classificatie is de simpelste vorm: het systeem geeft een hele foto één label, bijvoorbeeld "kat". Objectdetectie gaat een stap verder en tekent een rechthoek (bounding box) om elk object heen, met een label erbij, bijvoorbeeld een vak om de kat en een vak om de bank waarop ze zit. Segmentatie is het meest gedetailleerd: in plaats van een grove rechthoek krijgt elke afzonderlijke pixel een label, waardoor de exacte, onregelmatige contour van de kat zichtbaar wordt, inclusief de losse haartjes aan de rand.
Binnen segmentatie bestaan weer verschillende varianten. Semantische segmentatie kent aan elke pixel een klasse toe, zoals "weg", "gebouw" of "persoon", maar maakt geen onderscheid tussen individuele exemplaren: alle mensen op de foto krijgen simpelweg het label "persoon", ook al staan er tien naast elkaar. Instance segmentation (objectsegmentatie) doet dat wel: elk individueel object krijgt een eigen, apart masker, zodat persoon 1, persoon 2 en persoon 3 los van elkaar herkenbaar zijn. Panoptic segmentation combineert beide benaderingen: het label elk stuk achtergrond semantisch (bijvoorbeeld "lucht", "gras") en elk voorgrondobject als apart exemplaar.
Technisch draait moderne beeldsegmentatie vrijwel altijd op convolutionele neurale netwerken (CNN's), lagen van wiskundige filters die stap voor stap patronen als randen, texturen en vormen herkennen. Een invloedrijke architectuur is U-Net, in 2015 gepubliceerd door onderzoekers van de Universiteit Freiburg. U-Net verkleint een afbeelding eerst stap voor stap (encoder) om de context te begrijpen en bouwt haar daarna weer op tot volledige resolutie (decoder), met "skip-connections" die fijne details uit de vroege lagen doorgeven aan de late lagen. Voor instance segmentation werd Mask R-CNN (2017, Facebook AI Research) een veelgebruikte standaard, die objectdetectie combineert met een extra netwerkonderdeel dat per gedetecteerd object een pixelmasker tekent.
Een recentere ontwikkeling zijn zogeheten foundation models voor segmentatie, zoals het Segment Anything Model (SAM), dat Meta AI in april 2023 uitbracht, gevolgd door SAM 2 in 2024 (dat ook video aankan). Waar oudere modellen meestal getraind moesten worden op één specifieke taak of dataset, kan SAM met een simpele aanwijzing, zoals een muisklik of een grof vakje, vrijwel elk object segmenteren zonder dat het daar specifiek voor is getraind. Dit heet "zero-shot" segmentatie: het model heeft het object nooit eerder als aparte klasse gezien, maar generaliseert vanuit een enorme, brede trainingsdataset.
Wat wil men ermee bereiken?
Het doel van beeldsegmentatie is machines een fijnmazig, ruimtelijk begrip van beelden te geven: niet alleen wát er op een foto staat, maar ook precies wáár, tot op de pixel nauwkeurig. Die precisie is nodig zodra een systeem moet meten, navigeren, ingrijpen of beslissen op basis van een beeld, in plaats van alleen te classificeren.
In de medische beeldvorming wil men bijvoorbeeld het exacte volume van een tumor bepalen op een MRI- of CT-scan, iets waarvoor een grove rechthoek ontoereikend is. In de autonome mobiliteit moet een voertuig precies weten welke pixels weg zijn en welke stoeprand, om er niet overheen te rijden. In de landbouw helpt segmentatie om individuele planten, onkruid of zieke bladeren te onderscheiden. Bij satellietbeelden maakt het mogelijk om ontbossing, waterpeilen of stedelijke uitbreiding nauwkeurig te kwantificeren. En in fotobewerking en contentcreatie maakt segmentatie het mogelijk om achtergronden te verwijderen of objecten los te knippen zonder handmatig te hoeven tekenen. Ook in de robotica is het relevant: een robotarm die een object moet oppakken, moet eerst weten waar dat object precies begint en eindigt ten opzichte van zijn omgeving.
Voorbeelden uit de praktijk
Segment Anything Model (SAM), Meta AI, 2023, met opvolger SAM 2 in 2024: een breed inzetbaar, promptbaar segmentatiemodel, getraind op meer dan een miljard maskers. Het wordt gebruikt als onderzoeksbasis en bouwsteen voor allerlei toepassingen, van fotobewerking tot data-annotatie, en is vrij beschikbaar voor onderzoek en ontwikkeling.
U-Net en nnU-Net: U-Net werd in 2015 ontwikkeld aan de Universiteit Freiburg voor de segmentatie van biomedische beelden, zoals celstructuren onder de microscoop. De doorontwikkeling nnU-Net, van het Duitse Kankeronderzoekscentrum (DKFZ) in Heidelberg, past de architectuur automatisch aan op een specifieke medische dataset en behoort tot de best presterende methoden in internationale segmentatiewedstrijden voor radiologiebeelden, zoals CT- en MRI-scans van organen en tumoren. Dit soort modellen wordt vooral in onderzoeksverband en als hulpmiddel voor radiologen ingezet, niet als vervanging van de diagnose zelf.
Cityscapes-dataset, 2016, samengesteld met betrokkenheid van onder meer Mercedes-Benz (destijds Daimler) en academische partners: een verzameling nauwkeurig met de hand gesegmenteerde straatbeelden uit Duitse en andere Europese steden. Deze dataset is een veelgebruikte standaard geworden om segmentatiemodellen voor zelfrijdende auto's te trainen en te vergelijken, met klassen als weg, voetganger, fietser en verkeersbord.
Precisielandbouw: segmentatiemodellen worden toegepast op dronebeelden om individuele gewassen te onderscheiden van onkruid, wat gerichter en zuiniger gebruik van bestrijdingsmiddelen mogelijk moet maken. Dit gebeurt zowel in onderzoeksprojecten als in commerciële landbouwtechnologie, al verschilt de mate van operationele inzet sterk per regio en gewas.
Aardobservatie via Copernicus/Sentinel: de Europese ruimtevaartorganisatie ESA verzamelt met haar Sentinel-satellieten, onderdeel van het Copernicus-programma, grote hoeveelheden beelddata die met segmentatietechnieken worden geanalyseerd voor onder meer landgebruik, ontbossing en gewasmonitoring. Deze data en analyses worden gebruikt door overheden, onderzoekers en milieuorganisaties.
Hoe ver is de techniek?
Semantische segmentatie is sinds circa 2015 een volwassen onderzoeksveld; een belangrijke mijlpaal was de introductie van "fully convolutional networks" door Long en collega's in dat jaar, waarmee neurale netwerken voor het eerst end-to-end pixelclassificatie konden leren. Instance segmentation maakte met Mask R-CNN in 2017 een grote sprong voorwaarts. De komst van SAM in 2023 markeert een volgende fase: generieke, promptbare segmentatie die niet meer per taak hertraind hoeft te worden. Sindsdien werken veel onderzoeksgroepen aan varianten die sneller, preciezer of geschikt voor video en 3D zijn.
Toch is de techniek niet overal even ver. Bekende knelpunten zijn: onnauwkeurigheid aan fijne randen (denk aan haren, doorzichtige objecten of vage schaduwranden), het missen of samenvoegen van kleine of overlappende objecten, en de rekenkracht die nodig is om segmentatie in real time te draaien op beperkte hardware, zoals in een auto of een draagbaar medisch apparaat. Ook generalisatie blijft lastig: een model dat goed werkt op Europese straten, presteert niet automatisch even goed op beelden uit heel andere omgevingen of belichtingsomstandigheden, een probleem dat bekendstaat als domain shift. Video- en 3D-segmentatie voegen daar nog de eis van temporele consistentie aan toe: een object moet van frame naar frame hetzelfde label houden, ook als het gedeeltelijk verdwijnt achter iets anders.
In de medische sector is een goed werkend model in een onderzoekspaper nadrukkelijk iets anders dan een model dat klinisch mag worden ingezet. Daarvoor is validatie op onafhankelijke patiëntdata nodig en, afhankelijk van het land, regelgeving zoals een CE-markering in Europa of goedkeuring door de Amerikaanse FDA. Veel gepubliceerde medische segmentatiemodellen zijn dan ook onderzoekstools of hulpmiddelen ter ondersteuning van specialisten, geen zelfstandig diagnostisch eindoordeel.
Wie werken eraan?
Het onderzoek naar beeldsegmentatie is breed verspreid over bedrijven, universiteiten en publieke instanties, zonder één dominante partij. Meta AI (FAIR) ontwikkelde SAM en SAM 2. Google, via Google Research en Google DeepMind, heeft met architecturen als DeepLab belangrijke bijdragen geleverd aan semantische segmentatie. NVIDIA werkt aan segmentatietechnieken voor autonoom rijden en aan synthetische trainingsdata. Academisch zijn onder meer de Universiteit Freiburg (bakermat van U-Net) en UC Berkeley toonaangevend geweest, terwijl het Duitse Kankeronderzoekscentrum (DKFZ) in Heidelberg een leidende rol speelt in medische segmentatie met nnU-Net.
In de automotive-sector investeren fabrikanten en zelfrijdende-autobedrijven als Mercedes-Benz, Waymo en Tesla in segmentatie voor scene understanding, het herkennen en afbakenen van alles wat zich rond een voertuig bevindt. Voor aardobservatie speelt de ESA met het Copernicus-programma een centrale rol in Europa. Geografisch gezien komt veel fundamenteel onderzoek uit de Verenigde Staten en Duitsland, met een groeiend aandeel publicaties uit China op grote computervisie-conferenties zoals CVPR. Het blijft per saldo een internationaal, sterk academisch-industrieel verweven vakgebied.