Fact-checking door 
ChatGPT loopt het risico van een nieuwe cyberaanval. Volgens recent onderzoek uitgevoerd door Vulcan Cyber kunnen hackers de chatbot misbruiken om kwaadaardige packages, ofwel computerbestanden of -pakketten, te verspreiden binnen de groep ontwikkelaars. Bij deze aanval, die bekend staat als “AI Package Hallucination”, worden misleidende URL’s, verwijzingen of complete code libraries en functies aangemaakt die in werkelijkheid niet bestaan.
Met behulp van deze nieuwe techniek kunnen cybercriminelen niet-gepubliceerde pakketten vervangen door hun eigen kwaadaardige tegenhangers. Dit stelt aanvallers in staat om supply chain-aanvallen uit te voeren, waarbij kwaadaardige code libraries in bekende opslagsystemen worden opgenomen.
Laten we dieper op deze zaak ingaan om de ernst van de situatie volledig te begrijpen.
Wat is ChatGPT?
ChatGPT is een generatieve AI-chatbot die Natural Language Processing (NLP), ook wel de natuurlijke taalverwerkingsmethode, gebruikt om een gespreksdialoog te creëren die op een mens lijkt. Het taalmodel kan vragen beantwoorden en gebruikers helpen met verschillende taken, zoals het schrijven van essays, het componeren van liedjes, het maken van social media posts en het ontwikkelen van codes.
Wat is AI Package Hallucination?
“AI Package Hallucination” is de nieuwste, een van de meest kritieke en dodelijke hackaanvallen waar ChatGPT tot nu toe mee te maken heeft gehad. Met behulp van deze techniek kunnen de cybercriminelen schadelijke pakketten rechtstreeks naar het team van de ontwikkelaar sturen.
Onlangs hebben de onderzoekers van Vulcan Cyber een verontrustende trend vastgesteld. Deze aanvalsvector omvat het manipuleren van web URL’s, referenties en complete code libraries en functies die gewoon niet bestaan.
Vulcan’s analyse heeft aangetoond dat deze anomalie kan worden toegeschreven aan het gebruik van verouderde trainingsgegevens in ChatGPT, wat resulteert in de aanbeveling van niet-bestaande code libraries.
De onderzoekers hebben een waarschuwing afgegeven met betrekking tot de mogelijke uitbuiting van deze kwetsbaarheid. Ze waarschuwen dat hackers de namen van deze niet-bestaande pakketten kunnen verzamelen en hun eigen kwaadaardige versies kunnen maken. Vervolgens kunnen nietsvermoedende ontwikkelaars per ongeluk deze schadelijke pakketten downloaden op basis van de aanbevelingen van ChatGPT.
Dit onderstreept de dringende noodzaak van waakzaamheid binnen de ontwikkelaars community om te voorkomen dat ze ongewild schadelijke code in hun projecten opnemen.
Wat zeggen de onderzoekers?
Vulcan-onderzoekers evalueerden ChatGPT door het te testen met veelvoorkomende vragen van het coderingsplatform Stack Overflow. Ze vroegen specifiek naar deze vragen binnen de Python- en Node.js-omgevingen om de mogelijkheden van ChatGPT in deze programmeertalen te beoordelen.
De onderzoekers ondervroegen ChatGPT uitgebreid met meer dan 400 vragen en tijdens deze evaluatie bevatten ongeveer 100 antwoorden minstens één verwijzing naar Python- of Node.js-pakketten die in werkelijkheid niet bestaan.
Als gevolg hiervan werden er in de antwoorden van ChatGPT in totaal 150 niet bestaande pakketten genoemd.
De onderzoekers benadrukten een potentieel beveiligingsprobleem met betrekking tot het gebruik van ChatGPT’s pakketaanbevelingen. Ze gaven aan dat aanvallers misbruik zouden kunnen maken van de door ChatGPT voorgestelde pakketnamen door hun eigen kwaadaardige versies te maken en deze te uploaden naar populaire software-repositories. Hierdoor kunnen ontwikkelaars die vertrouwen op ChatGPT voor codeeroplossingen onbewust deze schadelijke pakketten downloaden en installeren.
De onderzoekers benadrukten dat de impact van een dergelijk scenario aanzienlijk gevaarlijker zou zijn als ontwikkelaars die online naar codeeroplossingen zoeken, ChatGPT om aanbevelingen voor pakketten vragen en onbedoeld een kwaadaardig pakket gebruiken.
Hoe werkt AI-hallucinatie via packages?
De vice-president van beveiligingsoperaties bij Ontinue, Craig Jones, heeft verteld hoe de AI Package Hallucination aanval zou kunnen werken:
- Aanvallers vragen ChatGPT om hulp bij het coderen van veelvoorkomende taken;
- ChatGPT kan een aanbeveling voor een pakket geven die niet bestaat of nog niet is gepubliceerd (een “hallucinatie”);
- Vervolgens maken de aanvallers een kwaadaardige versie van dat aanbevolen pakket en publiceren deze;
- Op die manier, terwijl andere ontwikkelaars dezelfde vragen stellen aan ChatGPT, zou het hetzelfde bestaande maar kwaadaardige pakket aan hen kunnen aanbevelen.
Voorzorgsmaatregelen om de aanval te voorkomen
Melissa Bischoping, directeur van endpoint beveiligingsonderzoek bij Tanium, benadrukt het belang van voorzichtige praktijken voor het uitvoeren van code in het licht van de recente cyberaanval:
Daarnaast raadt Bischoping aan om privékopieën van code te bewaren in plaats van het direct te importeren uit openbare repositories, omdat deze gecompromitteerd zijn geraakt tijdens de aanhoudende cyberaanval.
Volgens Vulcan Cyber zijn er verschillende voorzorgsmaatregelen die ontwikkelaars kunnen nemen om potentieel schadelijke pakketten te identificeren en zichzelf te beschermen tegen cyberaanvallen. Deze stappen zijn onder andere
- De aanmaakdatum van het pakket controleren: als een pakket onlangs is aangemaakt, kan dit argwaan wekken.
- Het aantal downloads evalueren: Als een pakket weinig of niet is gedownload, is het mogelijk minder betrouwbaar en moet het voorzichtig worden benaderd.
- Commentaar en beoordelingen bekijken: Als een pakket een gebrek aan opmerkingen of sterren heeft, kan het verstandig zijn om voorzichtig te zijn voordat u het installeert.
- Bijgevoegde notities of documentatie bekijken: Als begeleidende documentatie of notities bij het pakket onvolledig of misleidend zijn of argwaan wekken, is het raadzaam om twee keer na te denken voordat u verder gaat met de installatie.
Door waakzaam te blijven en deze voorzorgsmaatregelen te volgen, kunnen ontwikkelaars het risico minimaliseren dat ze slachtoffer worden van een cyberaanval via ChatGPT of een andere omgeving waarin code wordt uitgevoerd.
De conclusie
De ontdekking van de AI Hallucination Attack op de chatbot door het onderzoeksteam van Vulcan Cyber benadrukt de aanzienlijke bedreiging die dit vormt voor gebruikers die vertrouwen op ChatGPT voor hun dagelijkse werk.
Om zichzelf te beschermen tegen deze aanval en de potentiële risico’s van kwaadaardige pakketten, moeten ontwikkelaars en andere potentiële slachtoffers uiterst voorzichtig zijn en zich houden aan de primaire beveiligingsrichtlijnen.
