Momentherkenning: hoe AI het ene belangrijke moment uit uren video vist

Bijgewerkt: 6 augustus 2026 · 5 min leestijd

Stel je voor: een beveiligingscamera filmt een parkeergarage, 24 uur per dag, weken achtereen. Ergens in die eindeloze stroom beelden zit één moment waarop iemand een fiets probeert open te breken. Een mens die alles zou moeten terugkijken, is dagen bezig. Momentherkenning is de verzamelnaam voor AI-technieken die dat werk overnemen: software die zelf door beeld, geluid of sensordata spit en zegt "hier gebeurt iets, kijk dit stuk".

Het idee klinkt eenvoudig, maar de techniek erachter is verrassend lastig. Een algoritme moet niet alleen objecten herkennen zoals een fiets of een persoon, het moet ook begrijpen wanneer iets afwijkt van het gewone, wanneer een gebeurtenis relevant is voor een kijker. Diezelfde technologie duikt inmiddels overal op: van tennistoernooien die automatisch samenvattingen maken, tot fotoapps die zelf je vakantiehoogtepunten selecteren.

Wat is het precies?

Momentherkenning combineert twee dingen: computer vision (het herkennen van beeldinhoud) en een vorm van betekenisgeving (het bepalen welk fragment de moeite waard is). Dat gebeurt meestal in een aantal stappen.

Eerst wordt de video of het geluid opgedeeld in korte stukjes, vaak van een paar seconden. Voor elk stukje berekent een neuraal netwerk kenmerken: is er beweging, staat er een gezicht in beeld, hoe luid is het publiek, verandert de scène plotseling. Dat gebeurt met modellen die vergelijkbaar zijn met de beeldherkenning die ook in zelfrijdende auto's of gezichtsherkenning wordt gebruikt.

Daarna volgt de eigenlijke momentherkenning: een tweede model beoordeelt welke stukjes samen een "interessant moment" vormen. Dat kan op basis van vaste regels (bijvoorbeeld: harde piek in geluidsniveau plus veel beweging duidt op een doelpunt), of geleerd uit voorbeelden waarbij mensen eerder hebben aangegeven welke momenten belangrijk waren.

Een aparte, snel groeiende tak heet video moment retrieval of temporele grounding: hierbij typt een gebruiker een zin, bijvoorbeeld "de man loopt de trap op", en zoekt het systeem het exacte tijdstip in een lange video waarop dat gebeurt. Dit combineert taalmodellen met videoanalyse, en is precies het soort taak waar de nieuwste generatie multimodale AI-modellen, die zowel tekst als beeld verwerken, goed in beginnen te worden.

Wat wil men ermee bereiken?

De kernbelofte is tijdsbesparing: mensen hoeven niet meer alles handmatig te bekijken. Voor omroepen betekent dit automatisch gegenereerde samenvattingen van wedstrijden binnen enkele minuten na afloop, in plaats van uren monteerwerk. Voor beveiligingsbedrijven betekent het dat een bewaker niet meer naar tientallen schermen tegelijk hoeft te staren, maar een melding krijgt zodra er iets afwijkends gebeurt.

Ook consumenten profiteren: fotodiensten die automatisch een videomontage van je vakantie maken, of actioncams die zelf de spannendste tien seconden van een surfsessie eruit pikken, besparen de gebruiker het handmatig doorspoelen van uren opnames.

Onderliggend is er ook een wetenschappelijke motivatie. Onderzoekers willen begrijpen hoe machines "betekenis" en "belangrijkheid" kunnen leren herkennen, iets wat mensen intuïtief doen maar dat voor software allerminst vanzelfsprekend is. Dat maakt momentherkenning ook een testcase voor bredere vragen over hoe AI-systemen menselijke aandacht en interesse kunnen nabootsen.

Voorbeelden uit de praktijk

IBM Watson bij tennistoernooien. Rond 2017 en 2018 zette IBM zijn Watson-AI in bij Wimbledon en de US Open om automatisch highlight-video's te maken. Het systeem analyseerde onder meer het geluidsniveau van het publiek, de lichaamstaal van spelers en de spanning in de wedstrijdstand om te bepalen welke rally's de moeite waard waren om in een samenvatting op te nemen, zonder dat een redacteur alles hoefde te bekijken.

Second Spectrum en de NBA. Dit Amerikaanse sportanalysebedrijf gebruikt camera's rond het speelveld om spelers en bal in real time te volgen. Op basis van die trackingdata worden automatisch spelmomenten zoals dunks, blocks en assists herkend en gelabeld, wat ten grondslag ligt aan veel statistiekoverzichten die je tijdens NBA-wedstrijden op tv ziet.

Pixellot. Dit Israëlische bedrijf maakt AI-camerasystemen die zonder cameraman zelfstandig de bal en het spel volgen bij amateur- en jeugdsport. Het systeem herkent waar de actie zich bevindt en past automatisch het beeld aan, waardoor kleinere clubs zonder productiebudget toch livestreams en highlights kunnen aanbieden.

Google Photos. Sinds de lancering in 2015 gebruikt de dienst gezichts- en objectherkenning om automatisch "herinneringen" en samenvattingsvideo's samen te stellen uit iemands fotobibliotheek, door te bepalen welke foto's en video-fragmenten waarschijnlijk emotioneel of visueel het meest waardevol zijn.

DeepMind en voetbalanalyse. Het Britse AI-bedrijf DeepMind werkte samen met de onderzoeksafdeling van Liverpool FC aan modellen die tactische momenten in wedstrijden analyseren, zoals de positionering bij hoekschoppen. Onderzoek hierover, bekend onder de naam TacticAI, is in wetenschappelijke vaktijdschriften gepubliceerd en laat zien hoe momentherkenning zich uitbreidt van "wat gebeurde er" naar "wat had er beter gekund".

Hoe ver is de techniek?

Voor gestructureerde, voorspelbare omgevingen zoals sport werkt momentherkenning inmiddels behoorlijk betrouwbaar: doelpunten, harde duels en scoregelegenheden worden met hoge nauwkeurigheid herkend, omdat de regels van het spel en de typische signalen (geluid, beweging, spelerspositie) redelijk vast liggen.

Lastiger wordt het in ongestructureerde situaties, zoals beveiligingsbeelden of persoonlijke video's, waar "belangrijk" veel subjectiever is. Wat de ene kijker een hoogtepunt vindt, is voor de andere niet interessant. Systemen leren dit uit grote hoeveelheden voorbeelddata, en die data weerspiegelt onvermijdelijk de voorkeuren en blinde vlekken van de mensen die de trainingslabels hebben gemaakt. Dat kan leiden tot vertekening: bepaalde soorten momenten, gezichten of situaties worden systematisch over- of onderbelicht.

De laatste jaren, ruwweg vanaf 2023, is er een duidelijke versnelling zichtbaar doordat onderzoekers grote taal-en-beeldmodellen (vergelijkbaar met de technologie achter ChatGPT, maar dan met videobegrip) inzetten voor momentherkenning. Deze modellen kunnen op basis van een geschreven vraag een moment in een uren durende video opzoeken, iets wat een paar jaar eerder nog experimenteel academisch werk was. Het blijft echter een actief onderzoeksgebied: de modellen maken nog regelmatig fouten bij lange video's, subtiele gebeurtenissen of situaties die niet goed vertegenwoordigd waren in de trainingsdata. Ook is er terechte zorg over privacy wanneer dit soort systemen wordt ingezet voor cameratoezicht op mensen.

Wie werken eraan?

Grote technologiebedrijven zoals Google, Microsoft, Amazon en IBM ontwikkelen momentherkenning voor eigen producten, van foto-apps tot cloudcamera's. Op het gebied van AI-onderzoek in bredere zin speelt DeepMind (onderdeel van Google) een rol, onder meer via de samenwerking met sportclubs.

In de sportwereld zijn gespecialiseerde bedrijven als Second Spectrum, Pixellot, Hudl en Stats Perform actief, die data- en videoanalyse leveren aan competities en clubs. Universiteiten en onderzoeksgroepen wereldwijd, met name in de VS, China en het Verenigd Koninkrijk, publiceren via platforms als arXiv voortdurend nieuwe methoden en testdatasets waarmee de kwaliteit van momentherkenning wordt vergeleken.