Robots volgen hun veiligheidsregels precies, maar wat als de sensor liegt?

Een mobiele robot die vertraagt voor iemand in de gang. Een robotarm die afremt zodra een werknemer dichterbij komt. Een humanoïde robot die stopt om iemand te laten passeren. Dit soort veiligheidsgedrag lijkt vanzelfsprekend, maar het staat of valt met de informatie die de robot binnenkrijgt: een afstandsmeting, een positie-inschatting of een stopsignaal. Onderzoekers van VicOne, een bedrijf dat zich richt op cybersecurity voor voertuigen en robots, onderzochten wat er gebeurt als die informatie klopt volgens het systeem, maar in werkelijkheid onjuist is.

Dat probleem is niet alleen theoretisch. Een fout in een sensor kan verkeerde data opleveren, maar iemand kan diezelfde fout ook bewust veroorzaken. In dat geval reageert de robot precies zoals geprogrammeerd, alleen op basis van een leugen.

Een poster die een robot op afstand bestuurt

VicOne's onderzoeksteam, LAB R7, voerde meerdere tests uit. Bij een robothond die werkte met het taalmodel Gemma, interpreteerde het systeem tekst op een poster als een instructie en veranderde de robot zijn bewegingen. In een simulatie van een robot in een ziekenhuis, die draaide op het Nemotron-model op een NVIDIA Jetson AGX Orin-chip, zorgde onhoorbaar geluid ervoor dat het gedrag van de robot veranderde. De oorspronkelijke taak van de robot bleef gelijk, alleen de input die hij kreeg was gemanipuleerd. Ook extern onderzoek bevestigt dit patroon: bij zogeheten vision-language-action-modellen, die camerabeelden direct omzetten in robotbewegingen, kon een bewerkte afbeelding de taak laten mislukken of latere instructies laten negeren.

Ook veiligheidssystemen zijn kwetsbaar

Robots hebben vaak een los veiligheidssysteem dat ingrijpt bij gevaar, los van de normale besturing. Maar ook dat systeem vertrouwt op metingen en berichten. Tijdens een bug bounty-evenement voor robotica stuurden VicOne-onderzoekers een vervalst berichtje via het communicatieprotocol ROS 2/DDS naar een robot die juist stil had moeten blijven staan in een veilige modus. De robot bewoog toch. Bij humanoïde robots die hun balans bewaren met een gyroscoop, toonde eerder onderzoek aan dat geluid op de juiste frequentie (de resonantiefrequentie van de sensor) de gemeten rotatie kan vervormen. Dat is al aangetoond bij drones; bij humanoïde robots is het nog niet in de praktijk herhaald, maar het principe is hetzelfde.

Dit verandert hoe veiligheidsrisico's beoordeeld moeten worden. Normaal gaan risicoanalyses uit van toevallige, zeldzame storingen. Een aanvaller kan een vervalst signaal echter precies op het gewenste moment herhalen. Ook de aanname dat twee onafhankelijke sensoren, zoals camera en lidar, elkaar controleren, blijkt niet altijd waterdicht: onderzoek naar zelfrijdende auto's toont dat één zorgvuldig geplaatst object soms beide systemen tegelijk kan misleiden.

Regelgevers beginnen dit mee te nemen. China voerde de norm GB/T 45502-2025 in voor informatiebeveiliging van servicerobots. De internationale norm IEC TS 63074 behandelt beveiligingsdreigingen voor veiligheidsgerelateerde besturingssystemen. En de Europese Machineverordening, die vanaf 20 januari 2027 geldt, verplicht fabrikanten om veiligheidskritische systemen en data te beschermen tegen manipulatie.