AI & computing › Agentic AI & autonome agents
AI-agent bestuurt Minecraft in een virtuele Windows-pc als test
Het AI-infrastructuurbedrijf Cua heeft een handleiding gepubliceerd waarmee ontwikkelaars een volledige Windows-computer in een geïsoleerde virtuele omgeving opstarten, Minecraft installeren en die vervolgens laten besturen door een AI-agent. Het project laat zien hoe bedrijven realistische, complexe game-omgevingen gebruiken om te testen of kunstmatige intelligentie een computer net zo zelfstandig kan bedienen als een mens.
Een computer die zelfstandig een spel speelt: het klinkt als een schoolvoorbeeld uit de jaren negentig, maar voor moderne agentic AI is het een serieuze testcasus. Het bedrijf Cua publiceerde een technische handleiding waarin Minecraft Java Edition wordt geïnstalleerd op een virtuele Windows-computer, om vervolgens door een AI-systeem te worden bestuurd via muisklikken en schermafbeeldingen. Zulke systemen worden 'computer-use agents' genoemd: AI die niet via een simpele opdracht in de tekstbalk werkt, maar een scherm ziet en zelf beslist waar te klikken.
Minecraft is voor dit doel een verrassend zware test. Het spel vraagt internettoegang, een werkende grafische omgeving, een Java-programmeeromgeving en een interface die alleen met precieze muisbewegingen te bedienen is. Daarmee fungeert het spel als benchmark: een AI-agent die Minecraft succesvol installeert, inlogt en speelt, bewijst dat hij ingewikkelde, onvoorspelbare taken op een echte computer aankan — vaardigheden die ook nuttig zijn voor bijvoorbeeld het automatisch testen van software of het overnemen van repetitief computerwerk.
Een computer in een afgeschermde doos
De basis van het experiment is een sandbox: een volledig afgeschermde virtuele computer die veilig kan worden gestart, gebruikt en weer weggegooid zonder risico voor de rest van het systeem. Cua's software start hiervoor een virtuele machine met Windows Server 2022, uitgerust met twaalf processorkernen en 16 gigabyte geheugen. Omdat de standaardinstellingen van zo'n sandbox uit veiligheidsoverwegingen geen internetverbinding toestaan, moet er handmatig een tweede netwerkkaart worden toegevoegd — anders kan Minecraft geen verbinding maken met de servers van Microsoft en Mojang.
Een lastiger probleem is de grafische kaart. Virtuele machines beschikken meestal niet over een echte gamevideokaart, maar over een simpele 'Microsoft Basic Display Adapter' die alleen verouderde grafische standaarden ondersteunt. Minecraft heeft sinds versie 1.17 een nieuwere standaard nodig, genaamd OpenGL 3.2. De oplossing is niet een fysieke videokaart, maar software die de grafische berekeningen door de processor laat uitvoeren in plaats van door een videochip. Deze aanpak, ook wel software-rendering genoemd, is trager dan een echte videokaart maar werkt overal, ook in een virtuele omgeving zonder grafische hardware.
Inloggen met een tussenstap voor de mens
Ondanks alle automatisering blijft één stap menselijk: het inloggen op een Microsoft-account gebeurt via apparaatautorisatie. De sandbox toont een korte code, die een mens vervolgens zelf op een Microsoft-website moet invoeren om de aanmelding goed te keuren. Zodra dat is gebeurd, neemt de AI-agent het weer over: hij herkent via schermafbeeldingen wanneer het spel is gestart en bedient vervolgens muis en toetsenbord om verder te spelen, aangestuurd via het Model Context Protocol, een gestandaardiseerde manier waarop AI-systemen met externe software kunnen communiceren.
Het project van Cua is vooral bedoeld voor ontwikkelaars die AI-agents trainen en testen, maar het toont een bredere trend: bedrijven zoeken naar steeds complexere, realistischere omgevingen om te bewijzen dat AI een computer net zo soepel kan bedienen als een mens.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Testen met games als Minecraft laten zien hoe ver AI-agents zijn gevorderd in het zelfstandig bedienen van gewone computers, iets dat op termijn kantoorwerk, softwaretests en klantenservice kan veranderen. Hoe beter zulke agents omgaan met onvoorspelbare, visuele taken, hoe breder ze buiten gecontroleerde laboratoriumomstandigheden inzetbaar worden.
- Computer-use agent
- Een AI-systeem dat een computer bedient zoals een mens dat doet: door naar het scherm te 'kijken' en zelf met muis en toetsenbord te klikken en typen, in plaats van via een directe softwarekoppeling.
- Sandbox
- Een volledig afgeschermde, virtuele computeromgeving waarin software veilig kan worden getest zonder gevolgen voor het onderliggende systeem.
- Model Context Protocol (MCP)
- Een gestandaardiseerde manier waarmee AI-modellen kunnen communiceren met externe programma's en systemen, zodat ze buiten hun eigen tekstomgeving kunnen handelen.
- Benchmark
- Een gestandaardiseerde test waarmee de prestaties van een AI-systeem worden gemeten en vergeleken, bijvoorbeeld door het een complexe taak zoals een computerspel te laten uitvoeren.
- Software-rendering
- Het berekenen van grafische beelden door de processor van een computer, in plaats van door een gespecialiseerde videokaart. Trager, maar werkt ook zonder grafische hardware.
- Apparaatautorisatie
- Een inlogmethode waarbij een gebruiker op een ander apparaat een kortdurende code invoert om een aanmelding goed te keuren, vaak gebruikt wanneer het oorspronkelijke apparaat geen directe browsertoegang heeft.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
