Automatisch labelen
Stel je een enorme berg foto's voor: miljoenen straatbeelden, röntgenfoto's of productfoto's. Om een kunstmatige-intelligentiesysteem (AI) hiervan te laten leren, moet iemand eerst bij elke foto vertellen wát erop staat: "dit is een fietser", "dit is een tumor", "dit is een defect product". Dat noem je labelen of annoteren. Traditioneel deden mensen dat met de hand, foto voor foto. Bij automatisch labelen neemt software - vaak een ander AI-model - dat werk grotendeels over.
Het is een beetje alsof je een bibliotheek met een miljoen ongesorteerde boeken moet indelen op genre. Één persoon zou daar jaren over doen. Automatisch labelen is dan een assistent die de meeste boeken al vast in de juiste kast zet, waarna een mens alleen nog de twijfelgevallen controleert. Die aanpak is de afgelopen jaren cruciaal geworden, omdat moderne AI-modellen juist getraind worden op enorme hoeveelheden data - te veel om nog volledig met de hand te labelen.
Wat is het precies?
Automatisch labelen is geen losstaande techniek, maar een verzamelnaam voor verschillende methodes die stuk voor stuk hetzelfde probleem aanpakken: hoe krijg je snel en goedkoop betrouwbare labels?
De eenvoudigste vorm heet pseudo-labeling. Een model wordt eerst getraind op een kleine set met echte, door mensen gemaakte labels. Vervolgens laat je datzelfde model voorspellingen doen op ongelabelde data en gebruik je die voorspellingen als nieuwe, "pseudo"-labels om het model verder te trainen. Het model leert dus deels van zichzelf.
Bij weak supervision (letterlijk: zwakke sturing) schrijven mensen geen individuele labels, maar simpele regels of vuistregels - zogeheten labeling functions - die automatisch labels genereren. Een voorbeeld: "als een tekst het woord 'terugbetaling' bevat, label hem dan als klacht". Zulke regels zijn onderling niet perfect, maar door er veel te combineren en statistisch te wegen, ontstaat toch een redelijk betrouwbare labelset.
Active learning draait de volgorde om: het model bepaalt zelf welke voorbeelden het lastigst vindt - waar het onzeker over is - en legt alleen díe voor aan een menselijke labelaar. Zo besteedt de mens zijn tijd aan de moeilijkste gevallen, terwijl het model de simpele gevallen zelf afhandelt.
De nieuwste aanpak leunt op zogeheten foundation models: grote, algemene AI-modellen die al op enorme hoeveelheden data zijn voorgetraind, zoals CLIP van OpenAI of het Segment Anything Model van Meta. Zulke modellen kunnen vaak "zero-shot" labelen: ze herkennen objecten of concepten waarop ze niet specifiek zijn getraind, simpelweg omdat ze al zo veel algemene kennis hebben opgepikt.
In de praktijk worden deze methodes zelden alleen ingezet. De meeste bedrijven gebruiken een human-in-the-loop-aanpak: het algoritme doet het grootste deel van het werk, maar mensen controleren steekproeven of onzekere gevallen, en corrigeren fouten die vervolgens weer worden gebruikt om het systeem te verbeteren.
Wat wil men ermee bereiken?
Het belangrijkste doel is simpel: tijd en geld besparen. Handmatig labelen is arbeidsintensief. Grote datasets voor bijvoorbeeld zelfrijdende auto's of taalmodellen kunnen miljoenen tot miljarden datapunten bevatten; dat volledig door mensen laten doen zou onbetaalbaar en onhaalbaar traag zijn.
Daarnaast maakt automatisch labelen het mogelijk om datasets veel sneller te laten groeien en te itereren. Ontwikkelaars van AI-modellen willen snel kunnen testen of nieuwe data de prestaties verbetert, en willen niet wekenlang wachten tot een team menselijke labelaars klaar is.
Een derde doelstelling is het verminderen van de afhankelijkheid van grootschalig, vaak laagbetaald crowdwork. Menselijke data-annotatie wordt regelmatig uitbesteed aan werkers in lagelonenlanden, wat ethische vragen oproept over arbeidsomstandigheden. Automatisering vermindert (maar elimineert niet) die afhankelijkheid.
Ten slotte hoopt men met automatisch labelen ook gebieden te ontsluiten waar gelabelde data schaars is, zoals zeldzame ziektebeelden in de medische beeldvorming of specifieke landbouwgewassen op satellietbeelden, waar te weinig experts beschikbaar zijn om alles handmatig te annoteren.
Voorbeelden uit de praktijk
Een van de bekendste recente voorbeelden is het Segment Anything Model (SAM), dat Meta in april 2023 uitbracht. SAM kan objecten in foto's automatisch omlijnen (segmenteren) zonder dat het specifiek op die objecten is getraind. Meta bouwde het bijbehorende dataset SA-1B (ruim elf miljoen foto's met meer dan een miljard segmentatiemaskers) via een terugkerende cyclus: het model stelde labels voor, mensen corrigeerden de fouten, en die correcties werden gebruikt om het model weer te verbeteren - waarna het steeds minder menselijke hulp nodig had. In 2024 volgde SAM 2, dat dezelfde aanpak uitbreidt naar video.
Autofabrikant Tesla liet tijdens zijn AI Day in 2021 een vergelijkbare aanpak zien voor zelfrijdende technologie: een "offline" neuraal netwerk reconstrueert uit camerabeelden van de eigen wagenpark een driedimensionaal beeld van een verkeerssituatie over tijd, en genereert daaruit automatisch trainingslabels voor het Autopilot/Full Self-Driving-systeem, in plaats van dat mensen elk beeld met de hand annoteren.
Snorkel begon rond 2016 als onderzoeksproject aan Stanford University, onder leiding van onder anderen Christopher Ré, en werkte de weak-supervision-aanpak met labeling functions uit. In 2019 volgde de commerciële spin-off Snorkel AI. Stanford-onderzoekers pasten dezelfde aanpak ook toe in de radiologie, om röntgenfoto's automatisch te helpen labelen op basis van de bijbehorende artsenrapporten.
Cloudaanbieders hebben soortgelijke diensten in hun productaanbod opgenomen: Amazon SageMaker Ground Truth combineert sinds enkele jaren menselijke labelaars met een automatisch model dat overneemt zodra het voldoende zeker is van zijn voorspelling, en Google Cloud biedt via Vertex AI een eigen data-labelingdienst aan.
Hoe ver is de techniek?
Voor tekst is weak supervision inmiddels een gevestigde, redelijk volwassen techniek die breed in de industrie wordt gebruikt, bijvoorbeeld voor het classificeren van klantenservice-berichten of het filteren van content. Voor beeld- en videomateriaal is de vooruitgang vooral sinds 2023 in een stroomversnelling gekomen, dankzij foundation models zoals SAM en multimodale taalmodellen die ook afbeeldingen kunnen interpreteren.
Toch is volledig autonoom labelen zonder enige menselijke controle in de meeste toepassingen nog geen gangbare praktijk. Automatisch gegenereerde labels bevatten ruis: modellen maken fouten, en die fouten kunnen zich vermenigvuldigen als een volgend model weer op de foute labels wordt getraind - een risico dat onderzoekers "label drift" of bias-versterking noemen. Foundation models kunnen bovendien "hallucineren": met overtuiging een label geven dat feitelijk onjuist is.
Daarom blijft in kritieke toepassingen - medische diagnostiek, juridische documenten, veiligheidssystemen in voertuigen - een vorm van menselijke steekproefcontrole gangbaar. Onderzoek en praktijkervaring wijzen erop dat automatisch labelen de benodigde menselijke arbeid vaak met tientallen procenten kan verminderen, maar exacte besparingscijfers verschillen sterk per toepassing en worden door bedrijven niet altijd onafhankelijk geverifieerd.
Wie werken eraan?
Op het gebied van foundation models voor labeling lopen de grote Amerikaanse techbedrijven voorop: Meta (met SAM, ontwikkeld door het FAIR-onderzoekslab), Google (via Google Research, DeepMind en de Vertex AI-clouddienst), Amazon (via AWS SageMaker) en OpenAI (met CLIP als bouwsteen voor zero-shot labeling).
Op het gebied van weak supervision is Snorkel AI, voortgekomen uit Stanford University, een van de bekendste namen. Gespecialiseerde data-labelingbedrijven zoals Scale AI (opgericht in 2016 door Alexandr Wang) en Labelbox leveren hybride mens-plus-AI-diensten aan onder meer autonome-voertuigbedrijven en overheidsinstanties.
Op de automotive-kant investeren Tesla en Waymo (onderdeel van Alphabet, Google's moederbedrijf) zwaar in eigen auto-labeling-infrastructuur, omdat zij afhankelijk zijn van enorme hoeveelheden rittendata. Academisch onderzoek naar de onderliggende methodes (weak supervision, active learning, semi-supervised learning) komt daarnaast van universiteiten als Stanford, MIT en Berkeley, en wordt gepubliceerd op platforms zoals arXiv. Geografisch is het onderzoeksveld sterk gedomineerd door de Verenigde Staten, al investeren ook Chinese techbedrijven zoals Baidu en Alibaba in vergelijkbare technieken, en lopen er in Europa kleinschaligere onderzoeksprojecten aan universiteiten.