AI & computing › Generatieve AI & synthetische media
Tiener moet van Canadese berg gered worden na routeadvies van AI-chatbot Claude
Een 16-jarige jongen moest met een helikopter van een Canadese berg gered worden nadat hij zijn klimroute had laten uitstippelen door de AI-chatbot Claude. Het incident laat zien hoe gevaarlijk het is om kunstmatige intelligentie te vertrouwen voor beslissingen waarbij actuele, fysieke informatie over de werkelijke wereld onmisbaar is.
Bryce Vincent Gowryluk uit Vancouver wilde Crown Mountain beklimmen en vroeg de AI-chatbot Claude van het Amerikaanse bedrijf Anthropic om een route naar de top. De chatbot stuurde hem naar de 'Widowmaker Arete', een steile rotswand die alleen met klimtouwen en speciale uitrusting te beklimmen is. Gowryluk had die uitrusting niet bij zich en kwam vast te zitten op een richel van nog geen anderhalve meter breed, hoog boven de grond.
De tiener belde de politie, die vrijwilligers van het reddingsteam North Shore Rescue inschakelde. Via de locatiegegevens van zijn telefoon vonden reddingswerkers hem terug. Een helikopter zette twee teamleden boven zijn positie af; één daalde af naar de jongen en begeleidde hem naar een plek waar de helikopter hem met een lier omhoog kon takelen. Het verhaal werd eerder gemeld door de New York Times.
Geen schuldige, wel een les
Gowryluk zegt zelf de verantwoordelijkheid te nemen voor wat er gebeurde en geeft Claude niet de schuld. Hij gebruikte naast de chatbot ook Google Maps en de wandelapp AllTrails om zijn route te plannen. Toch benadrukt hij dat hij nooit meer kunstmatige intelligentie zal inzetten om een klimroute te bepalen. Hij blijft wel klimmen.
Paul Markey, een van de verantwoordelijken bij het reddingsteam, waarschuwt dat AI-chatbots als Claude geen daadwerkelijke kennis hebben van specifieke locaties of terrein. Een taalmodel genereert antwoorden op basis van patronen in trainingsdata, niet op basis van actuele satellietbeelden, hoogtekaarts of weersomstandigheden. Volgens Markey kan AI nooit de ervaring en het gezonde verstand vervangen die nodig zijn om veilig de berg op te gaan. Anthropic reageerde niet op vragen van de New York Times over het incident.
Waarom chatbots struikelen over de werkelijkheid
Het voorval is een voorbeeld van een breder probleem met generatieve AI: chatbots presenteren antwoorden vaak met veel overtuigingskracht, ook als de onderliggende informatie onjuist of onvolledig is. Dat verschijnsel heet AI-hallucinatie. Een taalmodel als Claude is getraind op enorme hoeveelheden tekst, maar heeft geen directe toegang tot actuele, betrouwbare geodata over bergpaden of klimroutes. Gebruikers die dat niet beseffen, lopen het risico advies te volgen dat weliswaar vloeiend geformuleerd is, maar feitelijk gevaarlijk kan uitpakken.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit incident onderstreept dat generatieve AI, hoe overtuigend ook, niet geschikt is voor taken waarbij precieze, actuele kennis van de fysieke wereld levensbelangrijk is. Naarmate chatbots steeds vaker als alwetende assistenten worden gebruikt, groeit de noodzaak voor gebruikers én bedrijven om duidelijk te maken waar de grenzen van die kennis liggen.
- AI-hallucinatie
- Het verschijnsel waarbij een AI-chatbot met overtuiging informatie presenteert die onjuist, verzonnen of niet actueel is.
- Large language model
- Het type AI-model, zoals Claude, dat tekst genereert op basis van patronen uit enorme hoeveelheden trainingsdata, zonder directe toegang tot real-time feiten over de wereld.
- Generatieve AI
- Kunstmatige intelligentie die op basis van een vraag of opdracht zelfstandig nieuwe tekst, beeld of advies produceert.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
