Webscraping: hoe machines het internet aflezen
Webscraping is het automatisch verzamelen van informatie van websites met behulp van software. In plaats van dat een mens handmatig honderden pagina's afspeurt en gegevens overtypt, doet een computerprogramma dat werk: het bezoekt webpagina's, herkent de gewenste stukjes tekst, prijzen of cijfers, en slaat die op in een overzichtelijk bestand. Zie het als een assistent die razendsnel leest, nooit moe wordt en precies onthoudt wat je hem hebt gevraagd te noteren.
Een bekend voorbeeld: een prijsvergelijkingssite die elke nacht duizenden webshops bezoekt om de actuele prijs van een laptop op te halen. Een mens zou daar weken over doen; een scraper doet het in enkele minuten. Diezelfde techniek wordt gebruikt om nieuwsartikelen te verzamelen, wetenschappelijke data te ontsluiten, of - steeds vaker in het nieuws - om enorme hoeveelheden tekst en beelden van internet te halen om kunstmatige intelligentie mee te trainen.
Wat is het precies?
Webscraping bestaat meestal uit een paar vaste stappen. Eerst stuurt het programma een verzoek naar een webadres, net zoals een browser dat doet als je op een link klikt. De server stuurt de onderliggende broncode van de pagina terug, geschreven in HTML: een opmaaktaal die bepaalt hoe tekst, afbeeldingen en knoppen worden weergegeven.
Vervolgens gaat een zogeheten parser aan de slag: software die de HTML-code doorzoekt op basis van patronen, bijvoorbeeld "pak de tekst binnen het element met de klasse 'prijs'". Populaire hulpmiddelen hiervoor zijn Python-bibliotheken als BeautifulSoup en Scrapy. De gevonden gegevens worden opgeslagen in een gestructureerd bestand, zoals een spreadsheet (CSV) of een databaseformaat (JSON).
Bij het zogenoemde crawlen (kruipen) volgt het programma bovendien de links op een pagina om automatisch door te gaan naar volgende pagina's, zodat een hele website of zelfs delen van het internet systematisch worden doorlopen. Steeds meer websites tonen hun inhoud pas nadat JavaScript-code in de browser is uitgevoerd; daarvoor gebruiken scrapers een "headless browser" zoals Playwright of Puppeteer, die de pagina onzichtbaar op de achtergrond opbouwt zoals een echte bezoeker dat zou zien.
Websites kunnen zich tegen ongewenste scraping verzetten met een bestand genaamd robots.txt, waarin staat welke delen van de site wel of niet automatisch bezocht mogen worden. Dit is echter een vrijwillige afspraak, geen technische blokkade of wet: een scraper kan het bestand negeren. Websites grijpen daarom ook naar technische maatregelen zoals CAPTCHA's (die controleren of een bezoeker mens is), het beperken van het aantal verzoeken per minuut, of het blokkeren van verdachte IP-adressen.
Wat wil men ermee bereiken?
Het belangrijkste doel van webscraping is schaal: informatie verzamelen die te omvangrijk of te verspreid is om met de hand te verwerken. Bedrijven gebruiken het voor marktonderzoek en prijsmonitoring, bijvoorbeeld om te zien wat concurrenten vragen voor een product. Journalisten gebruiken scraping voor datajournalistiek: het blootleggen van patronen in overheidsdata, rechtszaken of vastgoedtransacties die niet in een handig overzicht beschikbaar zijn.
Wetenschappers scrapen sociale media of publicaties om maatschappelijke trends te bestuderen. Zoekmachines zoals Google bestaan letterlijk dankzij crawling: zonder het systematisch aflezen van webpagina's zou er geen doorzoekbare index van het internet zijn. En sinds de opkomst van grote taalmodellen zoals ChatGPT is er een nieuw en omstreden doel bijgekomen: het verzamelen van enorme hoeveelheden tekst van het open web om AI-systemen mee te trainen.
Achter al deze toepassingen zit dezelfde belofte: gegevens die publiek zichtbaar zijn, maar verspreid over duizenden losse pagina's, bruikbaar en doorzoekbaar maken.
Voorbeelden uit de praktijk
Common Crawl is een Amerikaanse non-profitorganisatie die sinds 2008 op grote schaal het web crawlt en de resultaten gratis beschikbaar stelt. Deze dataset, die miljarden webpagina's omvat, is een van de belangrijkste bronnen geweest voor het trainen van grote taalmodellen, waaronder vroege versies van GPT.
De Amerikaanse rechtszaak hiQ Labs tegen LinkedIn (vanaf 2017) draaide om de vraag of het scrapen van openbaar zichtbare LinkedIn-profielen strafbaar was. Een federale rechtbank (het Ninth Circuit Court of Appeals) oordeelde dat het scrapen van publiek toegankelijke gegevens op zichzelf geen overtreding was van Amerikaanse computerwetgeving. De zaak sleepte zich voort tot een schikking rond 2022, maar het vonnis geldt nog altijd als een belangrijk juridisch ijkpunt in de discussie over de grenzen van scraping.
Clearview AI, een Amerikaans bedrijf voor gezichtsherkenning, scrapete miljarden foto's van sociale media en andere websites om een zoekbare database van gezichten op te bouwen. Meerdere Europese privacytoezichthouders, waaronder de Nederlandse Autoriteit Persoonsgegevens, legden het bedrijf boetes op wegens overtreding van privacywetgeving; de Nederlandse boete bedroeg in 2024 ruim 30 miljoen euro.
Sinds OpenAI in augustus 2023 zijn crawler GPTBot aankondigde om trainingsdata te verzamelen, hebben veel nieuwsuitgevers, waaronder grote Amerikaanse kranten, deze crawler via robots.txt geweerd. The New York Times spande eind 2023 een rechtszaak aan tegen OpenAI en Microsoft, met als kern het verwijt dat auteursrechtelijk beschermde artikelen zonder toestemming waren gebruikt om AI-modellen te trainen. De zaak was begin 2026 nog niet definitief afgerond.
Op kleinere schaal draaien ook Nederlandse prijsvergelijkers zoals Tweakers Pricewatch al jarenlang op scraping-achtige technieken, waarbij winkels prijsinformatie aanleveren of geautomatiseerd wordt opgehaald om consumenten een actueel overzicht te bieden.
Hoe ver is de techniek?
Webscraping is geen nieuwe technologie: de basisprincipes bestaan al sinds de jaren negentig, toen de eerste zoekmachinecrawlers zoals Googlebot het web begonnen te indexeren. De gereedschapskist is inmiddels volwassen en breed toegankelijk; iemand met basiskennis van programmeren kan met gratis, open-source software binnen een dag een werkende scraper bouwen.
De ontwikkeling zit tegenwoordig vooral in de wapenwedloop tussen scrapers en websites die scraping willen beperken. Diensten zoals Cloudflare bieden geavanceerde detectie van bot-verkeer, waarbij muisbewegingen, browservingerafdrukken en gedragspatronen worden geanalyseerd om mensen van machines te onderscheiden. Scrapers reageren daarop met steeds realistischere nabootsing van menselijk surfgedrag.
Een tweede grote verschuiving is juridisch en ethisch van aard. Waar scraping lang vooral een technische en commerciële kwestie was, is het door de opkomst van AI een privacy- en auteursrechtenkwestie geworden. Rechtszaken zoals die van The New York Times moeten uitwijzen of het scrapen van auteursrechtelijk beschermde content voor AI-training is toegestaan, en de uitkomsten daarvan kunnen de regels voor de hele sector veranderen. Ook regelgeving zoals de Europese AVG (privacywetgeving) en de nieuwe EU AI-verordening werpen nieuwe grenzen op, met name als er persoonsgegevens worden verzameld.
Kortom: de techniek zelf is volgroeid en weinig spectaculair vernieuwend, maar het speelveld eromheen - wat mag, wat kan en wat maatschappelijk aanvaardbaar is - verandert juist nu snel.
Wie werken eraan?
Aan de crawlende kant zijn grote technologiebedrijven de belangrijkste spelers: Google (Googlebot) en Microsoft (Bingbot) crawlen het web al decennia voor hun zoekmachines, en OpenAI (GPTBot) doet dit sinds 2023 voor AI-training. De non-profit Common Crawl Foundation in de Verenigde Staten levert een publiek beschikbare basis waar veel onderzoeksinstellingen en AI-bedrijven op voortbouwen.
Op de commerciële kant bieden bedrijven als het Israëlische Bright Data en het Britse Zyte (voorheen Scrapinghub, de makers van het populaire Scrapy-framework) infrastructuur en tools om op grote schaal te scrapen, vaak voor marktonderzoek of prijsmonitoring.
Aan de andere kant van het speelveld staan toezichthouders en juristen die de grenzen bewaken: in Nederland is dat onder meer de Autoriteit Persoonsgegevens, in de Verenigde Staten spelen federale rechtbanken zoals het Ninth Circuit een sturende rol, en op Europees niveau bepalen de AVG en de EU AI-verordening steeds vaker mee wat wel en niet mag. Universiteiten en onderzoeksgroepen wereldwijd bestuderen scraping zowel als technisch vakgebied (web mining) als vanuit ethisch en juridisch perspectief.