Onderzoekers op het gebied van cyberbeveiliging hebben onlangs een kwetsbaarheid ontdekt waarbij ChatGPT werd gebruikt om gevoelige gegevens uit Gmail-inboxen te halen zonder dat gebruikers hiervan op de hoogte waren. Hoewel de kwetsbaarheid inmiddels door OpenAI is verholpen, benadrukt deze situatie de risico’s van het uitbesteden van taken aan AI-agenten.
De aanval, die de naam “Shadow Leak” kreeg, maakte gebruik van een specifieke eigenschap van AI-agenten. Deze agenten fungeren als assistenten die zelfstandig kunnen opereren, zoals surfen op internet en het openen van links, zonder constante supervisie. Volgens bedrijven die AI-agenten promoten, kunnen deze tools de gebruikers veel tijd besparen door toegang te verlenen tot persoonlijke e-mails, agenda’s en werkdocumenten.
Het beveiligingsbedrijf Radware ontdekte dat deze hulpvaardigheid kon worden misbruikt door middel van een zogenaamde prompt-injectie. Dit is een vorm van cyberaanval waarbij instructies worden gegeven aan de AI-agent om taken voor de aanvaller uit te voeren. Dit soort krachtige tools kan alleen vooraf worden tegengehouden als er al kennis is van een exploit, wat ze bijzonder gevaarlijk maakt. Hackers hebben vergelijkbare technieken al op verschillende creatieve manieren ingezet, zoals bij het manipuleren van peer reviews, het uitvoeren van scams en het overnemen van slimme woningen. Gebruikers hebben vaak geen idee dat er iets misgaat, aangezien de instructies verborgen kunnen zijn in schijnbaar onschuldige tekst, zoals witte tekst op een witte achtergrond.
In dit geval was de dubbelagent OpenAI’s Deep Research, een AI-tool die is ingebed in ChatGPT en eerder dit jaar werd gelanceerd. Radware-onderzoekers plaatsten een prompt-injectie in een e-mail die werd verzonden naar een Gmail-inbox waartoe de agent toegang had. Deze aanval wachtte geduldig op het moment dat de gebruiker Deep Research zou activeren. Zodra de agent de verborgen instructies tegenkwam, werd hij aangestuurd om naar HR-e-mails en persoonlijke gegevens te zoeken en deze naar de hackers te sturen, zonder dat het slachtoffer iets doorhad.
Het was geen gemakkelijke taak om een agent te laten ontsporen en tegelijkertijd gegevens ongemerkt te exfiltreren. Het proces vereiste veel vallen en opstaan. “Dit proces was een rollercoaster van mislukte pogingen, frustrerende obstakels en uiteindelijk een doorbraak,” aldus de onderzoekers.
In tegenstelling tot de meeste prompt-injecties vond Shadow Leak plaats op de cloudinfrastructuur van OpenAI, waardoor het onzichtbaar was voor standaard cyberdefensie. Radware merkte op dat de studie bedoeld was als een proof-of-concept en waarschuwde dat andere applicaties die verbonden zijn met Deep Research, zoals Outlook, GitHub, Google Drive en Dropbox, mogelijk vatbaar zijn voor vergelijkbare aanvallen. “Dezelfde techniek kan worden toegepast op deze aanvullende connectors om zeer gevoelige zakelijke gegevens zoals contracten, vergadernotities of klantgegevens te exfiltreren,” waarschuwden ze.
OpenAI heeft inmiddels de kwetsbaarheid verholpen die door Radware in juni werd gemeld. Hoewel de kwetsbaarheid nu is gesloten, blijft het incident een belangrijke herinnering aan de potentiële gevaren van AI-technologieën die zonder voldoende beveiligingsmaatregelen worden ingezet. Het benadrukt de noodzaak voor voortdurende waakzaamheid en snelle actie om dergelijke bedreigingen in de toekomst te voorkomen. AI-agenten kunnen veel voordelen bieden, maar het is essentieel om de beveiliging ervan op de eerste plaats te zetten om misbruik te voorkomen.