Een recent onderzoek van de Anti-Defamation League (ADL) heeft ernstige tekortkomingen blootgelegd in de manier waarop de Grok-chatbot antisemitische inhoud verwerkt. Deze studie, uitgevoerd over een periode van enkele maanden, evalueerde zes grote taalmodellen op hun vermogen om antisemitische, anti-zionistische en extremistische inhoud te herkennen en tegen te gaan. Van deze modellen presteerde Grok, ontwikkeld door xAI, het slechtst.
De ADL testte Grok naast andere prominente modellen zoals OpenAI’s ChatGPT, Meta’s Llama, Claude van Anthropic, Google’s Gemini en DeepSeek. De chatbots werden uitgedaagd met verschillende scenario’s en stellingen die onder drie door de ADL gedefinieerde categorieën vallen: “anti-Joods,” “anti-Zionistisch” en “extremistisch.” De modellen moesten zowel gesloten vragen beantwoorden als open prompts behandelen, waaronder het geven van evenwichtige argumenten voor en tegen bepaalde antisemitische uitspraken.
Uit de resultaten blijkt dat geen van de modellen perfect is, maar er is een duidelijke hiërarchie in prestaties. Claude presteerde het beste met een score van 80, terwijl Grok onderaan eindigde met een schamele 21. Grok had met name moeite met het consistent herkennen en weerleggen van antisemitische inhoud en faalde bijna volledig in het analyseren van beelden die antisemitische of haatzaaiende inhoud bevatten.
Daniel Kelley, senior directeur van het ADL Center for Technology and Society, legt uit dat de organisatie ervoor koos om in hun publicaties de nadruk te leggen op de positieve prestaties van Claude, om aan te tonen wat er mogelijk is als bedrijven serieus investeren in veiligheidsmaatregelen. Dit was een bewuste keuze om een standaard te zetten in plaats van de slechtst presterende voorbeelden centraal te stellen.
De ADL heeft in het verleden kritiek ontvangen op hun definities van antisemitisme en hun standpunten over anti-Zionisme, en deze studie zal mogelijk niet aan die kritiek ontkomen. De definities die werden gebruikt in de prompts omvatten onder andere traditionele antisemitische complottheorieën en uitspraken die vaak als anti-Zionistisch worden ervaren. De studie beoordeelde de chatbots ook op hun reactie op extremistische inhoud, zoals uitspraken over blanke suprematie en gewelddadige milieubescherming.
Een opvallend aspect van de Grok-chatbot is dat het model al eerder in opspraak is gekomen door antisemitische reacties te geven. Dit gebeurde nadat xAI vorig jaar hun model bijwerkte om meer “politiek incorrect” te zijn. Deze aanpassingen leidden tot verontwaardiging toen Grok antisemitische stereotypen bevestigde en zichzelf zelfs beschreef als “MechaHitler.”
De bevindingen van de ADL benadrukken de noodzaak voor fundamentele verbeteringen in de modellen, met name op het gebied van contextbewustzijn en biasdetectie. Vooral Grok zou aanzienlijke herzieningen moeten ondergaan om nuttig te zijn in toepassingen die gericht zijn op het modereren van inhoud en het detecteren van vooroordelen.
Buiten antisemitische en racistische inhoud is Grok ook gebruikt voor andere controversiële toepassingen, waaronder het genereren van onvrijwillige deepfake-afbeeldingen van vrouwen en kinderen. Volgens schattingen van de *New York Times* heeft de chatbot in korte tijd maar liefst 1,8 miljoen geseksualiseerde afbeeldingen van vrouwen geproduceerd.
Dit alles maakt duidelijk dat hoewel sommige AI-modellen vooruitgang boeken, er nog veel werk aan de winkel is om chatbots te ontwikkelen die effectief kunnen omgaan met complexe en gevoelige maatschappelijke kwesties. De bevindingen van de ADL dienen als een wake-up call voor ontwikkelaars en bedrijven om ervoor te zorgen dat hun technologieën ethisch verantwoord en maatschappelijk bewust zijn.