Botverkeer: wat gebeurt er als het merendeel van het internet geen mens meer is?
Als je een website bezoekt, ga je er waarschijnlijk van uit dat de meeste andere bezoekers ook mensen zijn: mensen die scrollen, klikken en lezen. Maar een flink deel van al het dataverkeer op internet komt helemaal niet van mensen. Het wordt gegenereerd door bots: geautomatiseerde computerprogramma's die zelfstandig websites bezoeken, formulieren invullen, prijzen vergelijken of content kopiëren. Dat geheel aan geautomatiseerd verkeer noemen we botverkeer.
Een simpele analogie: stel je een winkelstraat voor waar naast gewone klanten ook duizenden robots rondlopen. Sommige robots zijn nuttig, zoals een robot van de gemeente die de straat inspecteert op kapotte stoeptegels (vergelijkbaar met een zoekmachine die websites indexeert). Andere robots zijn hinderlijk of schadelijk: ze proberen winkels leeg te kopen voordat mensen aan de beurt zijn, of ze testen bij elke deur of er een slot openstaat. Op internet spelen zich vergelijkbare scenario's af, alleen dan miljarden keren per dag en vrijwel onzichtbaar voor de gewone gebruiker.
Wat is het precies?
Een bot (kort voor "robot") is een softwareprogramma dat via internet automatisch taken uitvoert die normaal een mens zou doen: een pagina openen, gegevens lezen, een formulier versturen. Botverkeer ontstaat wanneer zulke programma's op grote schaal websites, apps of servers benaderen.
Technisch gezien stuurt een bot dezelfde soort verzoeken ("requests") naar een webserver als een browser dat doet. Het verschil zit in wie of wat die verzoeken initieert. Bij een mens gebeurt dat via muisklikken en toetsaanslagen; bij een bot gebeurt het via code die in een lus ("loop") telkens opnieuw dezelfde of vergelijkbare acties herhaalt, vaak duizenden keren per minuut.
Websites proberen bots te herkennen aan signalen die net iets anders zijn dan menselijk gedrag: de snelheid waarmee muisbewegingen worden gesimuleerd (of het ontbreken daarvan), de combinatie van software-eigenschappen van de bezoekende computer ("fingerprinting"), het patroon waarin pagina's worden bezocht, en technische kenmerken van de netwerkverbinding zelf, zoals de manier waarop een versleutelde verbinding wordt opgezet (TLS-fingerprinting). Geavanceerde bots bootsen tegenwoordig muisbewegingen en typritmes na om net als een mens over te komen, wat de herkenning steeds lastiger maakt.
Beveiligingsbedrijven verdelen botverkeer meestal in twee hoofdgroepen. Goede bots zijn bots met een nuttig, transparant doel: zoekmachines zoals Googlebot die websites bezoeken om ze doorzoekbaar te maken, monitoringtools die controleren of een website nog online is, of prijsvergelijkingsdiensten. Kwaadaardige bots proberen juist misbruik te maken van een website: ze stelen content, testen gestolen wachtwoorden, kopen producten op om door te verkopen, of overspoelen een server met verkeer om die plat te leggen.
Wat wil men ermee bereiken?
Het onderzoeksveld rond botverkeer bestaat eigenlijk uit twee kanten die tegenover elkaar staan: bedrijven die bots inzetten voor hun eigen doeleinden, en bedrijven die proberen ongewenste bots te weren.
Aan de kant van bot-makers zijn de doelen uiteenlopend. Zoekmachines willen het web indexeren om zoekresultaten te kunnen tonen. Onderzoekers en bedrijven die kunstmatige intelligentie ontwikkelen, willen grote hoeveelheden tekst en beeld verzamelen om taalmodellen mee te trainen. Criminelen willen inloggegevens buitmaken, concertkaartjes of schaarse sneakers opkopen om met winst door te verkopen, nepaccounts aanmaken voor reclame- of stemfraude, of concurrenten schade toebrengen met een overbelastingsaanval (DDoS, "distributed denial-of-service").
Aan de kant van websites en beveiligingsbedrijven is het doel juist het onderscheiden van wenselijk en onwenselijk geautomatiseerd verkeer, zonder daarbij echte bezoekers te hinderen. Dat is lastiger dan het klinkt: een winkelketen wil wél dat Google haar producten indexeert, maar niet dat een concurrent elke nacht alle prijzen afschraapt. Het doel is dus filteren, niet blokkeren: goede bots doorlaten, kwaadaardige bots tegenhouden, en dat in real-time bij miljoenen verzoeken per seconde.
Voorbeelden uit de praktijk
Een bekend voorbeeld van schadelijk botverkeer is het Mirai-botnet, dat in 2016 tienduizenden slecht beveiligde IoT-apparaten (zoals ip-camera's en routers) infecteerde en gebruikte om enorme DDoS-aanvallen uit te voeren, onder meer tegen de dns-provider Dyn, waardoor grote diensten als Twitter en Netflix tijdelijk onbereikbaar werden.
Bij de verkoop van concertkaartjes speelt al jaren het probleem van ticket-scalping bots: geautomatiseerde programma's die razendsnel kaartjes opkopen zodra de verkoop start, waardoor menselijke fans met lege handen achterblijven en kaartjes vervolgens tegen woekerprijzen worden doorverkocht. Ticketmaster en andere verkopers investeren fors in wachtrijsystemen en botdetectie om dit tegen te gaan, met wisselend succes.
Een vergelijkbaar fenomeen zijn sneaker bots: software die exclusieve sneakers binnen seconden na release opkoopt, wat geleid heeft tot een eigen (grijze) markt aan botsoftware en tegenmaatregelen bij winkels als Nike.
Sinds 2023 speelt een nieuw en veelbesproken type botverkeer: AI-crawlers zoals GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended en Bytespider (ByteDance), die het web afstruinen om tekst te verzamelen voor het trainen van taalmodellen. Veel uitgevers en websitebeheerders zagen hun serverkosten stijgen door deze crawlers en begonnen ze te weren via het bestand robots.txt, een vrijwillige standaard waarmee een website aangeeft welke bots wel of niet welkom zijn. Omdat naleving van robots.txt vrijwillig is, introduceerde Cloudflare in 2024 en 2025 tools om AI-crawlers actief te blokkeren en experimenteerde het bedrijf met een systeem waarbij uitgevers betaald kunnen worden per crawl ("pay per crawl").
Ook credential stuffing is een veelvoorkomende vorm van kwaadaardig botverkeer: bots proberen automatisch miljoenen gestolen combinaties van gebruikersnaam en wachtwoord (afkomstig uit eerdere datalekken) uit op andere websites, in de hoop dat mensen hetzelfde wachtwoord hergebruiken.
Hoe ver is de techniek?
Botdetectie is een volwassen maar voortdurend veranderend vakgebied. Grote beveiligingsbedrijven publiceren jaarlijks rapporten (zoals het Bad Bot Report van Imperva) waaruit blijkt dat een substantieel deel van al het internetverkeer, doorgaans tussen de dertig en vijftig procent afhankelijk van de meetmethode en de sector, van bots afkomstig is, en dat een aanzienlijk deel daarvan als kwaadaardig wordt aangemerkt. Exacte cijfers verschillen sterk per bron en meetmethode, dus behandel losse percentages altijd met enige voorzichtigheid.
De techniek van botdetectie is de afgelopen jaren sterk verbeterd dankzij machine learning: systemen leren patronen herkennen in duizenden gedragskenmerken tegelijk, in plaats van te vertrouwen op één simpel kenmerk. Tegelijkertijd zijn ook de bots zelf geavanceerder geworden. Moderne "headless browsers" (browsers zonder zichtbaar scherm, aangestuurd door code) kunnen JavaScript uitvoeren en menselijke interactiepatronen nabootsen, waardoor klassieke detectiemethoden zoals eenvoudige CAPTCHA's (puzzels die "bewijzen" dat je een mens bent) steeds vaker omzeild worden, soms zelfs met behulp van AI-gestuurde beeldherkenning of goedkope menselijke "CAPTCHA-oplosdiensten".
Een belangrijk obstakel is dat botdetectie een kat-en-muisspel blijft: zodra een detectiemethode algemeen bekend wordt, ontwikkelen bot-makers een tegenmaatregel. Daarnaast is er een groeiend spanningsveld rond AI-crawlers: er bestaat nog geen algemeen aanvaarde, afdwingbare standaard voor wat wel en niet gescraped mag worden, en juridische zaken over auteursrecht en dataverzameling voor AI-training lopen in meerdere landen nog.
Wie werken eraan?
Aan de verdedigende kant zijn gespecialiseerde beveiligingsbedrijven actief zoals Cloudflare en Akamai, die als tussenlaag tussen bezoekers en websites fungeren en bot-filtering aanbieden, Imperva en DataDome, die zich specifiek richten op bot-management, en HUMAN Security (voorheen PerimeterX), gespecialiseerd in het detecteren van botnetwerken en advertentiefraude. Google levert met reCAPTCHA en hCaptcha (van het bedrijf Intuition Machines) veelgebruikte verificatiesystemen voor websites.
Aan de kant van kennisontwikkeling speelt het non-profit OWASP (Open Web Application Security Project) een rol met een overzicht van geautomatiseerde dreigingen tegen webapplicaties, gebruikt door ontwikkelaars wereldwijd als referentiekader. Op het gebied van AI-crawlers zijn vooral de grote AI-bedrijven zelf relevant, zoals OpenAI, Anthropic en Google, die hun eigen crawlers beheren en (in wisselende mate) reageren op verzoeken van uitgevers.
In Nederland houdt het Nationaal Cyber Security Centrum (NCSC) zich bezig met de bredere dreiging van botnets en geautomatiseerde aanvallen als onderdeel van de nationale digitale weerbaarheid, en publiceert het periodiek dreigingsbeelden waarin botverkeer als aanvalsvector wordt besproken.