Framesampling: hoe kunstmatige intelligentie leert kijken zonder alles te zien

Bijgewerkt: 2 september 2026 · 7 min leestijd

Stel je voor dat je een speelfilm van twee uur moet samenvatten, maar je mag maar honderd losse foto's uit die film bekijken. Welke foto's kies je? Waarschijnlijk niet elk beeld achter elkaar, want dan zie je alleen het begin. Slimmer is het om verspreid door de hele film foto's te pakken: eentje bij de opening, eentje bij elke belangrijke scènewisseling, eentje bij het einde. Precies dit principe heet framesampling, oftewel beeldsampling: het bewust selecteren van een beperkt aantal videobeelden (frames) uit een veel grotere reeks, zodat een computer of AI-systeem een video kan analyseren zonder letterlijk elk beeldje te hoeven bekijken.

Dit klinkt misschien als een klein technisch detail, maar het is een van de stille bouwstenen achter veel technologie die met video werkt: van apps die automatisch samenvattingen maken van beveiligingsbeelden, tot AI-modellen die een YouTube-video kunnen "bekijken" en vragen erover beantwoorden, tot systemen die helpen nepvideo's (deepfakes) te herkennen. Een gewone video bestaat uit tientallen beelden per seconde; een uur video kan zomaar honderdduizenden losse plaatjes bevatten. Al die plaatjes stuk voor stuk verwerken kost enorm veel rekenkracht en tijd. Framesampling is de truc om toch snel en betaalbaar iets zinnigs te zeggen over die video.

Wat is het precies?

Een video is in de kern niets anders dan een snelle opeenvolging van losse foto's, frames genoemd. Bij de meeste video's worden er 24 tot 60 van die frames per seconde getoond; ons oog en brein plakken die achter elkaar tot de illusie van beweging. Voor een computer is elke frame gewoon een los plaatje vol pixels, en die moet apart worden geanalyseerd als je wilt weten wat erop staat.

Het probleem is rekenkracht. Elke frame door een AI-model halen (bijvoorbeeld om te herkennen dat er een auto, een gezicht of een handeling in staat) kost tijd en energie. Bij honderdduizenden frames in één video loopt dat torenhoog op. Framesampling lost dit op door niet alle frames te gebruiken, maar een zorgvuldig gekozen subset.

Er bestaan verschillende strategieën om die subset te kiezen. De eenvoudigste heet uniforme of schaarse sampling (sparse sampling): je verdeelt de video in gelijke stukken en pakt uit elk stuk één representatief frame, ongeacht wat erop gebeurt. Dit is snel, maar kan korte, snelle gebeurtenissen missen — een vuistslag die maar een paar frames duurt, kan tussen de gekozen beelden door glippen.

Een verfijndere aanpak is dichte sampling (dense sampling): rond momenten waar veel verandert, worden juist meer frames meegenomen. Het bekende SlowFast-systeem combineert dit zelfs in twee sporen tegelijk: één "trage" spoor dat weinig frames gebruikt om de algemene context te snappen (is dit een keuken of een sportveld?), en één "snelle" spoor dat wél veel frames per seconde bekijkt om vlot bewegende details te vangen (iemand die een bal gooit).

Nog geavanceerder is adaptieve of geleerde sampling: hierbij beslist een apart stukje AI zelf welke frames de moeite waard zijn, op basis van hoeveel er in de beelden verandert of hoe relevant een moment lijkt voor de taak. Dit is complexer om te bouwen, maar kan nauwkeuriger zijn omdat belangrijke momenten minder snel worden overgeslagen.

Tot slot bestaat er keyframe-sampling, waarbij vooral de frames worden gekozen die het meest verschillen van hun voorganger — een soort automatische samenvatting die alleen de "nieuwe" informatie oppikt en repetitieve, weinig veranderende beelden (zoals een stilstaande camera op een lege gang) overslaat.

Wat wil men ermee bereiken?

De kern van het doel is efficiëntie zonder al te veel in te leveren op nauwkeurigheid. Onderzoekers en bedrijven willen video's sneller, goedkoper en met minder energie kunnen analyseren, zodat AI-systemen ook kunnen draaien op apparaten met beperkte rekenkracht, zoals smartphones, bewakingscamera's of de boordcomputer van een auto, in plaats van alleen in enorme datacentra.

Een tweede, minstens zo belangrijke drijfveer is het mogelijk maken van lange video's te begrijpen. Recente AI-taalmodellen die ook video kunnen "lezen" (zoals de modellen van Google's Gemini-familie) zouden bij het verwerken van elke afzonderlijke frame van een uren durende opname vastlopen op zowel rekentijd als geheugengrenzen. Door slim te samplen kan zo'n model toch een samenvatting geven van een lange lezing, sportwedstrijd of bewakingsvideo.

Daarnaast speelt real-time verwerking een rol: een zelfrijdende auto of een drone moet direct kunnen reageren op wat de camera ziet. Trager, maar volledig, alle beelden verwerken is dan geen optie; er moet continu een afweging worden gemaakt tussen snelheid en volledigheid.

Ten slotte helpt framesampling bij het trainen van AI-modellen zelf. Grote videodatasets bevatten miljoenen uren beeldmateriaal; door tijdens het trainen niet elk frame te gebruiken maar steekproeven te nemen, kunnen onderzoekers modellen sneller en met minder rekenkracht trainen, wat de ontwikkeling van nieuwe video-AI toegankelijker maakt voor meer partijen dan alleen de grootste techbedrijven.

Voorbeelden uit de praktijk

Temporal Segment Networks (TSN), 2016 — Onderzoekers van onder meer Nanjing University en de Chinese University of Hong Kong (Limin Wang en collega's) introduceerden dit systeem, dat video's opdeelt in segmenten en per segment één frame schaars bemonstert. Het model bleek verrassend goed in het herkennen van menselijke handelingen (zoals hardlopen of fietsen) in benchmarks als UCF101 en Kinetics, en werd een veelgeciteerde basis voor latere videomodellen.

SlowFast Networks, 2019 — Ontwikkeld door onderzoekers van Facebook AI Research (tegenwoordig Meta AI), waaronder Christoph Feichtenhofer. Het model combineert de eerdergenoemde trage en snelle sporen en verbeterde de nauwkeurigheid van actieherkenning aanzienlijk ten opzichte van eerdere methodes, gepresenteerd op de conferentie ICCV 2019.

VideoMAE, 2022 — Een methode voor zelf-gesuperviseerd leren (het model leert zonder dat mensen elk voorbeeld hoeven te labelen) die gebruikmaakt van zogeheten "tube masking": grote delen van gesamplede video-frames worden verborgen tijdens training, waarna het model leert de ontbrekende beelden te reconstrueren. Dit verbeterde de efficiëntie van het voortrainen van videomodellen aanzienlijk.

Lange-video-analyse bij Gemini (Google DeepMind), 2024-2025 — Google heeft in publieke documentatie beschreven dat zijn Gemini-modellen video's verwerken door ze om te zetten in een reeks gesamplede frames plus geluidsinformatie, wat het mogelijk maakt uren durende opnames te doorzoeken en er vragen over te beantwoorden. Exacte samplingfrequenties kunnen per versie verschillen en zijn niet altijd volledig openbaar gemaakt.

Deepfake-detectie — Onderzoeksteams die tools bouwen om gemanipuleerde video's (deepfakes) te herkennen, gebruiken vaak framesampling om niet elke seconde van een verdachte video te hoeven doorspitten, maar gerichte steekproeven te analyseren op inconsistenties zoals onnatuurlijk knipperen of vreemde overgangen tussen frames.

Hoe ver is de techniek?

Framesampling zelf is geen nieuwe uitvinding meer; sinds het TSN-onderzoek uit 2016 is het een vast onderdeel van vrijwel elk systeem dat video's met AI analyseert. In die zin is de basistechniek volwassen en breed toegepast, van academische onderzoekslabs tot commerciële productiesystemen.

Wat wél nog volop in ontwikkeling is, is het slimmer maken van de selectie. Adaptieve en geleerde samplingmethoden — waarbij een AI zelf beslist welke frames ertoe doen — zijn nog een actief onderzoeksgebied, omdat het lastig blijft om te garanderen dat cruciale maar kortstondige momenten (een botsing, een handgebaar, een korte flits van tekst in beeld) niet worden gemist.

Een blijvend obstakel is de afweging tussen snelheid en volledigheid: hoe minder frames je bekijkt, hoe sneller en goedkoper de analyse, maar hoe groter de kans dat iets belangrijks tussen wal en schip valt. Voor toepassingen met hoge veiligheidseisen, zoals zelfrijdende auto's, is dit een reëel spanningsveld dat nog niet definitief is opgelost.

Ook het verwerken van zeer lange video's (meerdere uren) blijft technisch uitdagend: hoe langer de video, hoe schaarser de sampling meestal moet zijn om binnen de rekenbudgetten te blijven, wat het risico vergroot dat details verloren gaan. Er is geen universele industriestandaard voor de "juiste" samplingfrequentie; die hangt sterk af van de toepassing, het beschikbare budget aan rekenkracht en hoe kritiek gemiste informatie zou zijn.

Wie werken eraan?

Veel van het grondleggende onderzoek komt uit een combinatie van academische instellingen en de onderzoeksafdelingen van grote techbedrijven. Meta AI (voorheen Facebook AI Research, FAIR) heeft met werk als SlowFast Networks een belangrijke bijdrage geleverd. Google DeepMind bouwt de techniek in bij zijn Gemini-modellen voor videobegrip. OpenAI werkt eveneens aan modellen die beeld en video kunnen verwerken, al is over de exacte samplingmethodes van commerciële modellen vaak minder in detail gepubliceerd dan in academische papers.

Op academisch vlak spelen Chinese universiteiten (zoals Nanjing University en de Chinese University of Hong Kong) een grote rol geweest bij vroeg pionierswerk, naast onderzoeksgroepen zoals de Visual Geometry Group van de universiteit van Oxford, die al langer toonaangevend onderzoek doet naar computerzien en videoanalyse. Daarnaast publiceren onderzoekers wereldwijd, vaak in open-access vorm via platformen als arXiv, waardoor kennis over samplingmethoden relatief snel gedeeld en verbeterd wordt.