Computer-use agent: als AI zelf de muis en het toetsenbord bedient
Stel je voor dat je een assistent vraagt om online een vlucht te boeken. Een gewone chatbot zou je alleen tips kunnen geven: welke site je moet gebruiken, waar je op moet letten. Een computer-use agent doet iets fundamenteel anders: hij opent zelf een browser, klikt op de juiste velden, typt de vertrekdatum in, leest de zoekresultaten en klikt uiteindelijk op 'boeken'. Hij gebruikt de computer zoals een mens dat doet, met muis en toetsenbord, in plaats van via een speciale technische koppeling.
Dat klinkt eenvoudig, maar het is een grote stap voor kunstmatige intelligentie. De meeste AI-systemen werken via een zogeheten API (application programming interface): een vaste, voorgeprogrammeerde manier voor software om met andere software te praten. Een computer-use agent heeft die speciale koppeling niet nodig. Hij 'kijkt' naar een schermafbeelding, herkent daarop knoppen, tekstvelden en menu's, en bepaalt zelf welke actie logisch is. Daardoor kan zo'n agent in principe met bijna elk programma of elke website overweg, ook met verouderde systemen waarvoor nooit een API is gebouwd.
Wat is het precies?
Een computer-use agent bestaat meestal uit drie onderdelen die in een lus achter elkaar draaien. Eerst maakt het systeem een schermafbeelding van de computer of een virtuele testomgeving. Vervolgens analyseert een groot taalmodel (vaak een variant die ook beelden kan verwerken, een zogeheten multimodaal model) die afbeelding samen met de opdracht van de gebruiker, en bepaalt welke actie nodig is: bijvoorbeeld 'klik op coördinaat x,y' of 'typ de tekst hallo'.
Die actie wordt daarna daadwerkelijk uitgevoerd door de muis te verplaatsen, te klikken of toetsaanslagen te simuleren. Er verschijnt een nieuwe schermafbeelding, en de cyclus herhaalt zich: kijken, beslissen, doen, opnieuw kijken. Dit gaat net zo lang door totdat het model inschat dat de taak is voltooid, of totdat er een fout optreedt.
Het lastigste onderdeel is niet het klikken zelf, maar het begrijpen van wat er op het scherm staat en het plannen van de juiste volgorde van stappen. Interfaces zijn voor mensen ontworpen, met visuele aanwijzingen die vanzelfsprekend lijken, maar die een AI-model moet leren interpreteren: welke knop is 'Verzenden', welk vakje is al aangevinkt, wat betekent een grijze in plaats van blauwe knop. Fouten in die interpretatie leiden vaak tot verkeerde kliks, en omdat elke stap voortbouwt op de vorige, kunnen kleine vergissingen zich opstapelen.
Wat wil men ermee bereiken?
De belofte is dat AI-systemen bruikbaar worden voor de talloze digitale taken die mensen dagelijks uitvoeren, zonder dat ontwikkelaars voor elke afzonderlijke website of applicatie een technische koppeling hoeven te bouwen. Denk aan het invullen van formulieren, het beheren van agenda's, het testen van software, het uitvoeren van administratieve taken in bedrijfssystemen, of het samenstellen van rapporten uit meerdere bronnen.
Voor bedrijven is de aantrekkingskracht vooral automatisering van repetitief computerwerk dat nu nog handmatig gebeurt, juist omdat het te specifiek of te veranderlijk is om in vaste software te vangen. Voor onderzoekers is het een stap richting AI die niet alleen tekst genereert, maar daadwerkelijk doelen in de digitale wereld kan bereiken, wat wordt gezien als een test voor bredere 'agentische' vaardigheden: plannen, foutcorrectie en omgaan met onverwachte situaties.
Tegelijk brengt dit doel nieuwe risico's met zich mee. Een systeem dat zelfstandig klikt en typt, kan ook onbedoeld schade aanrichten: verkeerde bestanden verwijderen, verkeerde bedragen overmaken, of misleid worden door kwaadaardige inhoud op een webpagina die zich voordoet als instructie (een risico dat bekendstaat als prompt injection). Ontwikkelaars van deze systemen benadrukken daarom vaak beperkte rechten, menselijke goedkeuring bij gevoelige acties, en testomgevingen als tussenstap.
Voorbeelden uit de praktijk
Adept AI, opgericht in 2022 door voormalige onderzoekers van Google en OpenAI, was een van de eerste bedrijven die publiekelijk demonstreerde hoe een taalmodel via het scherm software kon bedienen, met een systeem genaamd ACT-1. In 2024 stapten oprichter David Luan en een deel van het team over naar Amazon, dat de technologie wilde inzetten voor eigen AI-ontwikkeling.
Anthropic introduceerde in oktober 2024 'computer use' als bètafunctie bij het model Claude 3.5 Sonnet: ontwikkelaars konden Claude toegang geven tot een virtuele desktop, waarna het model zelf de muis bewoog, klikte en typte om taken uit te voeren, zoals het invullen van formulieren of het navigeren door meerdere applicaties.
OpenAI kondigde in januari 2025 'Operator' aan, een onderzoeksversie van een agent die via een eigen browseromgeving taken als het boeken van een restaurant of het bestellen van boodschappen kon uitvoeren. Later dat jaar werd deze functionaliteit samengevoegd met bredere 'agent'-mogelijkheden binnen ChatGPT.
Google DeepMind toonde in december 2024 'Project Mariner', een experimentele Chrome-extensie waarbij het Gemini-model meelas met de browser van de gebruiker en zelfstandig binnen tabbladen kon navigeren en klikken om taken te voltooien.
Daarnaast gebruiken onderzoekers benchmarks zoals OSWorld en WebArena, ontwikkeld door academische teams (onder meer verbonden aan Carnegie Mellon University), om computer-use agents op een gestandaardiseerde manier te testen op honderden realistische taken in besturingssystemen en op websites.
Hoe ver is de techniek?
De vooruitgang is de afgelopen twee jaar snel gegaan, maar de technologie is nog verre van feilloos. Op benchmarks zoals OSWorld, die agents testen op realistische computertaken in een gesimuleerde desktopomgeving, haalden de beste systemen begin 2025 slagingspercentages die doorgaans tussen de 30 en 50 procent lagen, terwijl mensen op dezelfde taken vaak boven de 70 tot 80 procent scoren. Dat gat geeft aan dat er nog een aanzienlijke afstand is tussen demo's en betrouwbare, dagelijkse inzet.
Veelvoorkomende knelpunten zijn trage uitvoering (elke stap vereist een nieuwe analyse van het scherm, wat tijd kost), gevoeligheid voor ongebruikelijke interfaces of pop-ups, en het risico dat een agent vastloopt in herhalende foutieve acties zonder dit zelf op te merken. Ook veiligheid is een nog onopgelost punt: onderzoekers hebben laten zien dat kwaadwillende webpagina's verborgen instructies kunnen bevatten die een agent proberen te misleiden.
De grote aanbieders positioneren hun huidige versies dan ook expliciet als 'preview' of 'bèta', bedoeld voor afgebakende taken onder toezicht, niet als volledig autonome vervangers van menselijke computergebruikers. Verbetering komt vooral van betere multimodale modellen (die beelden nauwkeuriger interpreteren) en van trainingsmethoden die specifiek gericht zijn op opeenvolgende, meerstaps-taken in plaats van eenmalige antwoorden.
Wie werken eraan?
Naast Anthropic, OpenAI en Google DeepMind, de partijen met de meest zichtbare publieke producten, investeren ook Microsoft (onder meer met onderzoek naar UI-gerichte agent-raamwerken) en Amazon (na de overname van Adept-talent) in deze technologie. Chinese techbedrijven zoals Alibaba en Zhipu AI hebben eveneens vergelijkbare 'GUI-agent'-modellen gepubliceerd die interfaces kunnen bedienen.
Op academisch vlak dragen universiteiten zoals Carnegie Mellon University en Stanford bij aan de benchmarks en evaluatiemethoden waarmee de voortgang van deze systemen wordt gemeten. Er is geen dominant overheidsprogramma specifiek gericht op computer-use agents, al valt het onderzoek in de Verenigde Staten en China wel binnen bredere nationale AI-strategieën van beide landen.