AI & computing › Agentic AI & autonome agents
Persoonlijke AI-agent van techbaas lekt bankgegevens naar bedrijfs-Slack
De Amerikaanse techondernemer Shane Mac liet een persoonlijke AI-agent zijn financiën bijhouden. Door een verwarring tussen twee gelijknamige chatgroepen postte die agent zijn banksaldo, spaargeld en uitgaven per ongeluk in het Slack-kanaal van zijn bedrijf. Het incident laat zien hoe kwetsbaar de permissiesystemen van persoonlijke AI-assistenten nog zijn.
Shane Mac, CEO van softwarebedrijf XMTP Labs, gebruikte een AI-agent als persoonlijke financieel adviseur. Hij noemde die zijn 'CFO': elke maand moest het programma zijn bankrekeningen controleren, verdachte uitgaven opsporen en besparingstips geven. De agent draaide op de chatbot Grok Bot, waarmee Mac eind augustus begon te experimenteren nadat hij eerder al had getest met andere AI-assistenten.
Mac gaf zijn digitale CFO alleen leestoegang tot zijn privérekeningen en liet de rapportages versturen naar een groepsgesprek dat hij 'My Personal Exec Team' noemde. Dat ging wekenlang goed, tot de maandelijkse audit op 1 oktober verkeerd liep.
Verwisseling tussen twee groepschats
In plaats van naar zijn eigen groep stuurde de agent het volledige financiële overzicht naar het Slack-kanaal 'Exec-team' van zijn bedrijf XMTP. Daarin stonden zijn banksaldo, zijn spaartegoed en zijn grootste uitgaven van de maand, waaronder de bouw van een schuur op zijn erf. Een collega, het hoofd product van het bedrijf, zag de melding binnenkomen en waarschuwde Mac meteen.
Toen Mac de chatbot vroeg waarom dit gebeurd was, bleek het probleem simpel: zijn persoonlijke kanaal en het bedrijfskanaal hadden toevallig bijna dezelfde naam. De agent koos de verkeerde bestemming, niet omdat hij instructies negeerde, maar omdat het permissiemodel onder de motorkap niet goed onderscheid maakte tussen de verschillende chatgroepen waartoe hij toegang had.
Eén los eindje, veel gekoppelde diensten
Het incident legde een breder probleem bloot. Mac had voor verschillende taken losse 'agents' aangemaakt, maar die bleken achter de schermen dezelfde koppelingen met Slack, Google en zijn bankrekening te delen. Daardoor kon één verkeerd geadresseerd bericht zomaar bedrijfsgevoelige en privé-informatie met elkaar vermengen. Grok Bot kondigde na het voorval een aanpassing aan: gebruikers moeten vanaf nu expliciet toestemming geven voordat een agent informatie naar een ander kanaal mag doorsturen. Dat soort guardrails moeten voorkomen dat een AI-agent zelfstandig buiten zijn afgesproken grenzen handelt.
Scherpere scheiding tussen werk en privé
Mac trok na het voorval zelf de stekker uit al zijn koppelingen: zijn agenda, zijn bankrekening, Stripe en zijn Google-account zijn inmiddels losgekoppeld. Hij benadrukt dat AI-agents voor persoonlijke taken enorm nuttig kunnen zijn, maar dat gebruikers nog te weinig grip hebben op wat die agents precies mogen doen en met wie ze mogen 'praten'. Zolang permissiesystemen niet waterdicht zijn, blijft menselijke controle nodig voordat een agent gevoelige informatie deelt. Mac pleit daarnaast voor een duidelijkere scheiding tussen de accounts die mensen voor werk en privé gebruiken, omdat veel diensten die twee werelden juist laten overlappen.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit voorval laat zien dat persoonlijke AI-agents steeds meer taken en gevoelige data combineren, terwijl de techniek om precies te bepalen wát ze met wie mogen delen nog in de kinderschoenen staat. Naarmate mensen agents koppelen aan banken, agenda's en werkaccounts, groeit het risico dat privé- en bedrijfsinformatie per ongeluk vermengd raken. Betere toestemmingssystemen en een duidelijke scheiding tussen werk- en privétoegang worden daarom cruciaal voor veilig gebruik van dit soort technologie.
- AI-agent
- Een stukje software dat op basis van kunstmatige intelligentie zelfstandig taken uitvoert, zoals rekeningen controleren of berichten versturen, zonder dat een mens elke stap aanstuurt.
- Permissiemodel
- Het systeem van regels dat vastlegt welke gegevens en kanalen een AI-agent mag gebruiken en welke acties hij zelfstandig mag uitvoeren.
- Read-only toegang
- Een vorm van toegang waarbij een programma gegevens alleen mag inzien, maar niet mag wijzigen of overschrijven.
- Guardrails
- Ingebouwde beperkingen die moeten voorkomen dat een AI-systeem buiten de bedoelde grenzen handelt, bijvoorbeeld door extra toestemming te vereisen voor risicovolle acties.
- Human-in-the-loop
- Een ontwerpprincipe waarbij een mens een controlerende rol houdt in een geautomatiseerd proces, zodat fouten van een AI-systeem op tijd worden opgemerkt.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
