Webarchief: het geheugen van het internet
Een webarchief is een verzameling gekopieerde webpagina's die op een bepaald moment zijn vastgelegd, zodat je later nog kunt zien hoe een website eruitzag. Denk aan een foto-album van het internet: elke opname is een 'snapshot' van een pagina op een specifiek tijdstip, compleet met tekst, plaatjes en opmaak. Zonder zo'n archief zou het internet vluchtig zijn: pagina's verdwijnen, worden aangepast of gaan offline, en het bewijs van wat er ooit stond is dan voorgoed weg.
Een bekend voorbeeld is de Wayback Machine van het Internet Archive, waarmee je oude versies van bijna elke website kunt terugvinden, van een nieuwsbericht dat later stiekem is aangepast tot de allereerste versie van Google.com uit 1998. Journalisten gebruiken zulke archieven om uitspraken te controleren, onderzoekers om de geschiedenis van het web te bestuderen, en juristen om bewijs te verzamelen dat iets ooit online stond. Een webarchief is dus niet zomaar een curiositeit, maar een vorm van digitaal geheugen dat probeert te voorkomen dat delen van onze recente geschiedenis spoorloos verdwijnen.
Wat is het precies?
Het maken van een webarchief begint met een crawler: een programma dat automatisch webpagina's bezoekt, net zoals een gewone internetgebruiker dat doet, maar dan geautomatiseerd en op grote schaal. De crawler downloadt de HTML-code van een pagina, volgt de links die daarin staan, en downloadt vervolgens ook die pagina's. Zo ontstaat een steeds groter wordend netwerk van gearchiveerde pagina's.
Bij elke pagina worden niet alleen de tekst en opmaak bewaard, maar ook bijbehorende bestanden zoals afbeeldingen, stylesheets en soms video's. Al deze onderdelen worden samen opgeslagen in een speciaal bestandsformaat, meestal WARC (Web ARChive format), een internationale standaard (ISO 28500) die precies vastlegt wat er werd opgevraagd, wanneer, en wat de server terugstuurde. Een bekend hulpmiddel hiervoor is Heritrix, de open source crawler die het Internet Archive zelf ontwikkelde.
Een lastig punt is dat moderne websites vaak dynamisch zijn: de inhoud wordt pas in de browser opgebouwd met JavaScript, bijvoorbeeld bij social media of nieuwssites met interactieve elementen. Een eenvoudige crawler die alleen de ruwe HTML ophaalt, mist dan een deel van de pagina. Geavanceerdere archiefsystemen draaien daarom een volledige browser 'achter de schermen' om ook die dynamische inhoud vast te leggen, wat veel meer rekenkracht en opslag kost.
Ook robots.txt speelt een rol: dit is een bestand waarmee een website aangeeft welke delen crawlers wel of niet mogen bezoeken. Archieven respecteren deze regels doorgaans, al is daar de laatste jaren discussie over, omdat sommige sites hun archivering willen blokkeren terwijl bibliotheken juist willen dat het publieke web bewaard blijft.
Wat wil men ermee bereiken?
Het belangrijkste doel is het voorkomen van wat wel link rot wordt genoemd: het verschijnsel dat verwijzingen naar webpagina's na verloop van tijd niet meer werken omdat de pagina is verwijderd of verplaatst. Onderzoek van onder meer het Internet Archive laat zien dat een aanzienlijk deel van de links in oude nieuwsartikelen en wetenschappelijke publicaties na een paar jaar al niet meer werkt. Een webarchief biedt dan alsnog toegang tot de oorspronkelijke inhoud.
Daarnaast gaat het om digitaal erfgoed: nationale bibliotheken zien websites steeds meer als onderdeel van de cultuurhistorie van een land, vergelijkbaar met kranten en boeken. Zonder gestructureerde archivering zou een groot deel van de eigentijdse geschiedschrijving, van overheidscommunicatie tot maatschappelijke discussies op forums, simpelweg verloren gaan.
Een derde reden is verantwoording en transparantie: journalisten, factcheckers en juristen gebruiken webarchieven om te bewijzen wat een organisatie of persoon op een gegeven moment online heeft gezet, ook als die informatie later is aangepast of verwijderd. Tot slot worden webarchieven steeds vaker gebruikt als onderzoeksmateriaal, bijvoorbeeld om taalmodellen te trainen of om te bestuderen hoe onlinecultuur zich ontwikkelt.
Voorbeelden uit de praktijk
Het bekendste voorbeeld is de Wayback Machine van het Internet Archive, opgericht in 1996 door Brewster Kahle en publiek toegankelijk gemaakt in 2001. Het bevat inmiddels honderden miljarden gearchiveerde webpagina's en is gratis te doorzoeken.
In Nederland houdt de Koninklijke Bibliotheek (KB) sinds 2007 een nationaal webarchief bij, waarin Nederlandse websites met culturele, wetenschappelijke of maatschappelijke waarde worden bewaard. Vanwege auteursrecht is dit archief overigens niet volledig vrij doorzoekbaar voor iedereen; toegang verloopt deels via de studiezaal van de KB.
Een ander voorbeeld is Common Crawl, een Amerikaanse non-profitorganisatie die sinds 2008 maandelijks grote delen van het open web crawlt en de resulterende data gratis beschikbaar stelt. Deze dataset wordt veel gebruikt door onderzoekers en, de laatste jaren, ook om AI-taalmodellen mee te trainen.
Verder voert het Internet Archive periodiek zogeheten 'End of Term'-crawls uit rond Amerikaanse presidentsverkiezingen (onder meer in 2008, 2012, 2016, 2020 en 2024), waarbij overheidswebsites specifiek worden gearchiveerd voordat een nieuwe regering aantreedt en content kan wijzigen of verdwijnen. Ook archive.today, een minder transparant maar veelgebruikt initiatief, laat individuele gebruikers snel een enkele pagina archiveren.
Hoe ver is de techniek?
Technisch gezien is webarchivering een volwassen praktijk: de standaarden (WARC) en tools (Heritrix en vergelijkbare crawlers) bestaan al ruim twintig jaar en worden breed gebruikt door bibliotheken wereldwijd. De grootste uitdagingen zitten niet zozeer in de basistechniek, maar in de schaal en complexiteit van het moderne web.
Websites worden steeds dynamischer, met content die per bezoeker verschilt, achter inlogschermen zit of via apps in plaats van browsers wordt geconsumeerd. Dat maakt volledige archivering lastiger en duurder. Ook groeit het web sneller dan de capaciteit om alles te archiveren, waardoor archieven noodgedwongen keuzes maken over wat wel en niet wordt bewaard.
Een kwetsbaar punt is de afhankelijkheid van een beperkt aantal organisaties. Het Internet Archive kreeg in oktober 2024 te maken met een cyberaanval die de dienst wekenlang deels ontoegankelijk maakte, wat liet zien hoe fragiel zo'n centraal digitaal geheugen kan zijn. Financiering blijft eveneens een terugkerend punt van zorg, omdat grote non-profitarchieven vaak leunen op donaties en subsidies in plaats van structurele overheidsfinanciering.
Wie werken eraan?
Het Internet Archive, gevestigd in San Francisco, is wereldwijd de bekendste speler en beheert naast de Wayback Machine ook grote collecties boeken, software en audiovisueel materiaal. In Nederland is de Koninklijke Bibliotheek de aangewezen instantie voor nationale webarchivering, vaak in samenwerking met andere erfgoedinstellingen.
Internationaal werken tientallen nationale bibliotheken samen binnen het International Internet Preservation Consortium (IIPC), opgericht in 2003, dat standaarden en tools deelt en gezamenlijke crawls coördineert. Voorbeelden van andere aangesloten archieven zijn de UK Web Archive (British Library) en het webarchief van de Library of Congress in de Verenigde Staten. Common Crawl Foundation levert daarnaast een aanvullende, breed toegankelijke dataset die vooral in onderzoek en AI-ontwikkeling wordt gebruikt.