Veiligheidscultuur: waarom techniek alleen niet genoeg is
Veiligheidscultuur is de verzameling gewoontes, normen en overtuigingen binnen een organisatie die bepalen hoe serieus mensen omgaan met risico's. Het gaat niet om de vraag of er veiligheidsregels op papier staan, maar of medewerkers zich daadwerkelijk vrij voelen om een fout te melden, een collega aan te spreken op onzorgvuldig gedrag, of het werk stil te leggen als iets niet pluis aanvoelt. Een organisatie kan de beste technische beveiligingen ter wereld hebben, maar als de cultuur druk zet op productie boven voorzichtigheid, glippen risico's er toch doorheen.
Een simpele analogie: stel je een ziekenhuis voor met de nieuwste apparatuur en strikte protocollen voor handhygiëne. Als jonge verpleegkundigen zich daar niet durven uitspreken tegen een gehaaste chirurg die zijn handen niet wast, dan faalt het systeem alsnog. Veiligheidscultuur gaat over dat laatste stukje: durven mensen de bel luiden, en luistert de organisatie dan ook? Dit begrip, ooit vooral gebruikt in de kernenergie- en luchtvaartsector, duikt de laatste jaren steeds vaker op in artikelen over kunstmatige intelligentie, omdat AI-bedrijven met vergelijkbare vragen worstelen: hoe voorkom je dat commerciële druk de zorgvuldigheid ondermijnt?
Wat is het precies?
De term veiligheidscultuur werd wereldwijd bekend na de kernramp in Tsjernobyl in 1986. Het Internationaal Atoomenergieagentschap (IAEA) concludeerde dat niet alleen het reactorontwerp faalde, maar ook de manier waarop het personeel met regels en risico's omging. Sindsdien wordt veiligheidscultuur gedefinieerd als "de verzameling kenmerken en attitudes in organisaties en individuen die ervoor zorgen dat veiligheidskwesties, als hoogste prioriteit, de aandacht krijgen die ze verdienen vanwege hun belang."
In de praktijk valt veiligheidscultuur uiteen in een aantal herkenbare bouwstenen. Ten eerste: een meldingscultuur, waarbij fouten en bijna-ongelukken ("near misses") zonder angst voor straf gerapporteerd kunnen worden. Ten tweede: een rechtvaardige cultuur ("just culture"), die onderscheid maakt tussen eerlijke vergissingen en roekeloos gedrag, zodat mensen niet bang zijn om open kaart te spelen. Ten derde: een lerende cultuur, waarin incidenten daadwerkelijk leiden tot aanpassingen. En ten vierde: een flexibele, alerte cultuur, die niet blind vertrouwt op procedures maar ook reageert op onverwachte situaties.
De Britse psycholoog James Reason, een van de grondleggers van dit vakgebied, introduceerde het bekende "Swiss cheese model": veiligheidslagen in een organisatie zijn nooit perfect, ze bevatten altijd gaten, zoals plakjes Zwitserse kaas. Een ongeluk gebeurt pas wanneer de gaten in meerdere lagen toevallig op één lijn liggen. Een sterke veiligheidscultuur zorgt ervoor dat die gaten klein blijven en zelden samenvallen, onder meer doordat mensen elkaar durven corrigeren voordat het misgaat.
Wat wil men ermee bereiken?
Het doel is simpel te formuleren maar lastig te realiseren: voorkomen dat technisch geavanceerde systemen toch tot ongelukken, ongevallen of onbedoelde schade leiden door menselijke of organisatorische tekortkomingen. Techniek en cultuur moeten hand in hand gaan. Een kerncentrale, vliegtuig of chemische fabriek kan nog zo goed ontworpen zijn, uiteindelijk wordt hij bediend, onderhouden en gecontroleerd door mensen die onder tijdsdruk, kostendruk of vermoeidheid werken.
In de context van kunstmatige intelligentie krijgt dit een nieuwe lading. AI-ontwikkelaars werken aan systemen waarvan de risico's soms moeilijk te voorspellen zijn, en waarbij de druk om als eerste een nieuw model uit te brengen enorm is. Onderzoekers als die van het Future of Life Institute en voormalige medewerkers van grote AI-labs waarschuwen dat een zwakke veiligheidscultuur er in de AI-sector toe kan leiden dat waarschuwingssignalen van interne veiligheidsteams worden genegeerd omdat lanceerdeadlines belangrijker lijken. Het doel van een goede veiligheidscultuur is dus ook hier: zorgen dat kritische stemmen intern gehoord worden vóórdat een product naar buiten gaat, in plaats van pas na een schandaal of incident.
Voorbeelden uit de praktijk
Tsjernobyl (1986) geldt als het schoolvoorbeeld van falende veiligheidscultuur: operators voerden een test uit buiten de voorgeschreven procedures om, onder druk van planningsdoelen, met een kernramp als gevolg.
Space Shuttle Columbia (2003): het Columbia Accident Investigation Board concludeerde dat NASA een cultuur had ontwikkeld waarin afwijkend gedrag (schade aan hittewerende tegels) als "normaal" werd bestempeld omdat het eerder ook geen problemen had gegeven — een fenomeen dat bekendstaat als "normalization of deviance".
Boeing 737 MAX (2018-2019): Amerikaanse Congresonderzoeken wezen uit dat interne productiedruk bij Boeing ertoe leidde dat veiligheidszorgen over het MCAS-systeem onvoldoende werden opgeschaald, wat bijdroeg aan twee dodelijke crashes.
OpenAI (2024): meerdere leden van het "Superalignment"-veiligheidsteam, waaronder medeoprichter Ilya Sutskever en onderzoeker Jan Leike, vertrokken in mei 2024. Leike verklaarde publiekelijk dat "veiligheidscultuur en -processen op de achtergrond zijn geraakt ten opzichte van glimmende producten", wat internationaal aandacht trok voor de vraag hoe serieus AI-bedrijven interne kritiek nemen.
Nucleaire industrie na Fukushima (2011): de Japanse parlementaire onderzoekscommissie noemde de kernramp een "door mensen gemaakte ramp", mede door een cultuur van groepsdenken en gebrekkig toezicht bij energiebedrijf TEPCO, wat wereldwijd leidde tot strengere culturele audits in de sector.
Hoe ver is de techniek?
Veiligheidscultuur is geen technologie die je "uitrolt", maar een organisatorisch proces dat voortdurend onderhoud vraagt, dus "hoe ver het is" laat zich niet in versienummers uitdrukken. Wel bestaan er beproefde meetinstrumenten: vragenlijsten zoals de Nuclear Safety Culture Assessment van het IAEA of de Safety Attitudes Questionnaire uit de luchtvaart en gezondheidszorg, die medewerkers anoniem laten scoren hoe vrij zij zich voelen om problemen te melden.
In gevestigde sectoren als luchtvaart en kernenergie is veiligheidscultuur inmiddels een verplicht onderdeel van toezicht: reguleringsinstanties zoals de Amerikaanse Nuclear Regulatory Commission voeren periodieke cultuuraudits uit naast technische inspecties. In de AI-sector staat dit nog in de kinderschoenen. Er bestaat geen verplichte, onafhankelijke audit van de interne veiligheidscultuur bij bedrijven als OpenAI, Google DeepMind of Anthropic; wat er is, zijn vooral vrijwillige toezeggingen, zoals de "Frontier AI Safety Commitments" die grote AI-bedrijven in 2024 ondertekenden tijdens de AI Safety Summit in Seoul.
Een belangrijk obstakel is dat AI-risico's, anders dan bij een kerncentrale, vaak niet fysiek zichtbaar of makkelijk meetbaar zijn: een taalmodel dat misleidende informatie genereert of onbedoeld gevoelige gegevens lekt, laat zich lastiger vangen in harde metrics dan een radioactieve lekkage. Onderzoekers zoals die van het AI Safety Institute in het Verenigd Koninkrijk werken aan evaluatiemethoden, maar er is nog geen breed geaccepteerde standaard voor hoe je AI-veiligheidscultuur objectief meet.
Wie werken eraan?
In de klassieke veiligheidssectoren zijn het vooral internationale toezichthouders die dit vakgebied vormgeven: het IAEA voor kernenergie, de International Civil Aviation Organization (ICAO) en luchtvaartautoriteiten zoals de Amerikaanse FAA en Europese EASA voor de luchtvaart, en organisaties als OSHA in de VS voor arbeidsveiligheid in bredere zin.
Voor de AI-sector zijn de belangrijkste spelers een mix van bedrijven, overheden en non-profits. Grote AI-labs als OpenAI, Google DeepMind, Anthropic en Meta AI hebben eigen interne "responsible scaling"- of veiligheidsteams. Onafhankelijke onderzoeksorganisaties zoals het Future of Life Institute, het Center for AI Safety in de VS en het AI Safety Institute (UK) publiceren rapporten en oefenen publieke druk uit. Op overheidsniveau organiseerden het Verenigd Koninkrijk (Bletchley Park, 2023) en Zuid-Korea (Seoul, 2024) internationale AI Safety Summits waarbij landen en bedrijven afspraken maakten over verantwoord gedrag, al blijven veel van die afspraken vrijwillig en juridisch niet afdwingbaar.