AI-model spot fout in IKEA-kast met 80% nauwkeurigheid, was 28%

Onderzoeksbureau Epoch AI ontwikkelde de Furniture Assembly Benchmark (FAB): een test waarbij AI-modellen foto's te zien krijgen van drie IKEA-meubels die tijdens het monteren met opzet fout in elkaar zijn gezet. De modellen moeten de foto's vergelijken met de officiële montage-instructies, de fout opsporen en in gewone taal uitleggen wat er misging. Het is een taak die voor mensen simpel klinkt, maar tot voor kort voor kunstmatige intelligentie bijzonder lastig bleek.

Van bijna gokken naar bijna feilloos

In november 2025 scoorde het beste model op dat moment, Claude Opus 4.5 van Anthropic, nog maar 28 procent op de FAB-test. Tien maanden later doet GPT-6 Astra van OpenAI het aanzienlijk beter: 80 procent nauwkeurigheid, al heeft het model daar gemiddeld drie minuten per foto voor nodig. Andere recente modellen van Anthropic volgen op gepaste afstand: Claude Fable 5.1 haalt 70 procent en Claude Opus 5 komt uit op 61 procent. Chinese open-source modellen zoals Kimi K3 van Moonshot AI lopen volgens de onderzoekers minstens zeven maanden achter op de koplopers.

Hoe de test precies werkt

Astra is een multimodaal AI-model: het kan niet alleen tekst verwerken, maar ook beelden analyseren en daarover redeneren. Voor de FAB-benchmark moet het systeem gebruikmaken van computervisie om onderdelen, schroeven en bevestigingspunten op een foto te herkennen, en die vervolgens te koppelen aan de stappen in een handleiding. Dat is een veel fijnmazigere vorm van beeldherkenning dan het simpelweg benoemen van objecten op een plaatje, en verklaart waarom modellen hier lang moeite mee hadden.

Een benchmark als FAB is bedoeld om objectief te meten hoe goed AI-modellen op een specifieke taak presteren, zodat vooruitgang tussen verschillende versies en aanbieders eerlijk te vergelijken is. Juist omdat de taak zo alledaags en concreet is, laat de sprong van 28 naar 80 procent goed zien hoe snel deze modellen op visueel gebied verbeteren.

Meer dan alleen kasten in elkaar zetten

Drie minuten per foto is nog te traag om als AI-assistent naast je te staan terwijl je een kast in elkaar schroeft. Toch zien de onderzoekers van Epoch AI wel een toekomst voor deze technologie buiten de huiskamer. Dezelfde vaardigheid om een foto te vergelijken met een technische handleiding en afwijkingen te herkennen, zou volgens hen ook kunnen helpen bij het opsporen van fouten in autoreparaties of het uitlezen van storingen in huishoudelijke apparaten. Astra blinkt volgens de makers ook uit in visuele taken voor robotica, wat suggereert dat dezelfde onderliggende technologie breder inzetbaar is dan alleen platte foto-analyse.