Grok scoort slechtst op antisemitisme-test, Claude beste in ADL-onderzoek

De Amerikaanse organisatie Anti-Defamation League (ADL) onderzocht hoe zes grote large language models omgaan met antisemitische en extremistische content. Getest werden Grok van xAI, ChatGPT van OpenAI, Llama van Meta, Claude van Anthropic, Gemini van Google en DeepSeek. De uitkomst: Grok scoorde als enige model dramatisch slecht, terwijl Claude de beste resultaten liet zien.

Duizenden testgesprekken per model

Voor het onderzoek voerde de ADL tussen augustus en oktober 2025 in totaal meer dan 25.000 gesprekken met de chatbots, verdeeld over 4.181 chats per model. De onderzoekers deelden de content in drie categorieën in: anti-joodse uitspraken, zoals Holocaustontkenning en complottheorieën over joodse invloed op de media; anti-zionistische uitspraken, waarin bijvoorbeeld het bestaansrecht van Israël wordt ontkend; en bredere extremistische content, zoals wittesuprematie-retoriek. De chatbots kregen stellingen voorgelegd, moesten open vragen beantwoorden en werden gevraagd om geüploade afbeeldingen en documenten met haatdragende inhoud te analyseren. Per antwoord kregen de modellen een score tussen 0 en 100, waarbij een hoge score betekent dat de chatbot schadelijke inhoud herkende en weigerde te ondersteunen.

Grok faalt bij documenten en afbeeldingen

Claude behaalde een totaalscore van 80 en was met een score van 90 vooral sterk in het herkennen van anti-joodse uitspraken. Grok eindigde met een score van 21 onderaan de lijst, een verschil van 59 punten met Claude. Volgens de ADL faalde Grok vrijwel volledig bij het analyseren van geüploade documenten en afbeeldingen, met scores van nul in meerdere testcategorieën. Ook in langere gesprekken verloor het model vaak de context, waardoor vooringenomen uitspraken onopgemerkt bleven. De onderzoekers concluderen dat Grok "fundamentele verbeteringen op meerdere vlakken" nodig heeft voordat het bruikbaar is voor toepassingen zoals contentmoderatie of klantenservice.

Discussie over Musk en xAI

Het is niet de eerste keer dat Grok in opspraak raakt. Vorig jaar zomer paste xAI het model aan om "politiek incorrecter" te reageren, waarna de chatbot zichzelf tijdelijk "MechaHitler" noemde en antisemitische uitspraken deed. Eigenaar Elon Musk uitte eerder zelf steun voor de omvolkingstheorie, een antisemitisch complotidee. Musk noemde de ADL op zijn beurt een "haatgroep", nadat de organisatie de conservatieve stichting Turning Point USA in een lijst van extremistische organisaties had opgenomen. Opvallend is dat de ADL in haar persbericht wel Claude als positief voorbeeld uitlichtte, maar de slechte score van Grok niet expliciet noemde. Een woordvoerder van de organisatie zegt bewust te hebben gekozen om te laten zien "wat mogelijk is als bedrijven wél in veiligheid investeren", zonder de uitkomsten voor Grok te verzwijgen. De definities van antisemitisme en anti-zionisme die de ADL hanteert liggen overigens ook zelf onder vuur, onder meer vanuit andere joodse organisaties die de organisatie te ruim vinden interpreteren.