AI-agenten, die grote taalmodellen combineren met automatiseringssoftware, kunnen met succes beveiligingskwetsbaarheden in de echte wereld misbruiken door beveiligingsadviezen te lezen, beweren academici.

In een nieuw uitgebracht papierVier computerwetenschappers van de University of Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta en Daniel Kang – melden dat OpenAI's GPT-4 grote taalmodel (LLM) op autonome wijze kwetsbaarheden in echte systemen kan exploiteren als het wordt gegeven een CVE-advies waarin de fout wordt beschreven.

“Om dit aan te tonen hebben we een dataset van vijftien eendaagse kwetsbaarheden verzameld, waaronder kwetsbaarheden die in de CVE-beschrijving als kritieke ernst zijn gecategoriseerd”, leggen de in de VS gevestigde auteurs in hun artikel uit.

“Gezien de CVE-beschrijving is GPT-4 in staat 87 procent van deze kwetsbaarheden te exploiteren, vergeleken met 0 procent voor elk ander model dat we testen (GPT-3.5, open-source LLM’s) en open-source kwetsbaarheidsscanners (ZAP en Metasploit) .”

Als je extrapoleert naar wat toekomstige modellen kunnen doen, lijkt het waarschijnlijk dat ze veel capabeler zullen zijn dan waar scriptkiddies vandaag de dag toegang toe kunnen krijgen.

De term ‘eendaagse kwetsbaarheid’ verwijst naar kwetsbaarheden die zijn onthuld maar niet zijn gepatcht. En met CVE-beschrijving bedoelt het team een ​​CVE-gelabeld advies gedeeld door NIST – bijv. deze voor CVE-2024-28859.

De niet-succesvolle geteste modellen – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B en OpenChat 3.5 – omvatten niet twee toonaangevende commerciële rivalen van GPT-4, Claude 3 van Anthropic en Gemini 1.5 Pro van Google. De UIUC-experts hadden geen toegang tot die modellen, hoewel ze hopen ze ooit te kunnen testen.

Het werk van de onderzoekers bouwt hierop voort eerdere bevindingen dat LLM's kunnen worden gebruikt om aanvallen op websites in een sandbox-omgeving te automatiseren.

GPT-4, zegt Daniel Kang, assistent-professor bij UIUC, in een e-mail aan Het register, “kan feitelijk autonoom de stappen uitvoeren om bepaalde exploits uit te voeren die open-source kwetsbaarheidsscanners niet kunnen vinden (op het moment van schrijven).”

Kang zei dat hij LLM-agenten verwacht, gemaakt door (in dit geval) een chatbot-model naar de Reageer automatiseringsframework geïmplementeerd in LangChain, zal de exploitatie voor iedereen veel gemakkelijker maken. Deze agenten kunnen, zo wordt ons verteld, links in CVE-beschrijvingen volgen voor meer informatie.

“Als je extrapoleert naar wat GPT-5 en toekomstige modellen kunnen doen, lijkt het waarschijnlijk dat ze veel capabeler zullen zijn dan waar scriptkiddies vandaag de dag toegang toe hebben,” zei hij.

Door de LLM-agent (GPT-4) de toegang tot de relevante CVE-beschrijving te ontzeggen, daalde het succespercentage van 87 procent naar slechts zeven procent. Kang zei echter dat hij niet gelooft dat het beperken van de publieke beschikbaarheid van beveiligingsinformatie een haalbare manier is om zich te verdedigen tegen LLM-agenten.

“Persoonlijk denk ik niet dat beveiliging door onduidelijkheid houdbaar is, wat de heersende wijsheid lijkt te zijn onder beveiligingsonderzoekers,” legde hij uit. “Ik hoop dat mijn werk, en ander werk, proactieve beveiligingsmaatregelen zal aanmoedigen, zoals het regelmatig updaten van pakketten als er beveiligingspatches uitkomen.”

De LLM-agent slaagde er niet in om slechts twee van de vijftien monsters te exploiteren: Iris XSS (CVE-15-2024) en Hertzbeat RCE (CVE-25640-2023). De eerste bleek volgens de krant problematisch omdat de Iris-webapp een interface heeft die voor de agent uiterst moeilijk te navigeren is. En de laatste bevat een gedetailleerde beschrijving in het Chinees, wat vermoedelijk de LLM-agent in verwarring bracht die onder een Engelstalige prompt opereerde.

Elf van de geteste kwetsbaarheden deden zich voor na de trainingsonderbreking van GPT-4, wat betekent dat het model er tijdens de training geen gegevens over had geleerd. Het slagingspercentage voor deze CVE’s was iets lager: 82 procent, oftewel 9 op 11.

Wat de aard van de bugs betreft, ze worden allemaal vermeld in het bovenstaande artikel en ons wordt verteld: “Onze kwetsbaarheden omvatten kwetsbaarheden op websites, containers en kwetsbare Python-pakketten. Meer dan de helft wordt door de CVE-beschrijving gecategoriseerd als 'hoog' of 'kritiek'.

Kang en zijn collega's berekenden de kosten voor het uitvoeren van een succesvolle LLM-agentaanval en kwamen met een bedrag van $ 8.80 per exploit, wat volgens hen ongeveer 2.8x minder is dan het zou kosten om een ​​menselijke penetratietester voor 30 minuten in te huren.

De agentcode bestaat volgens Kang uit slechts 91 coderegels en 1,056 tokens voor de prompt. De onderzoekers werden door OpenAI, de maker van GPT-4, gevraagd om hun aanwijzingen niet openbaar te maken, hoewel ze zeggen dat ze deze op verzoek zullen verstrekken.

OpenAI reageerde niet onmiddellijk op een verzoek om commentaar. ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/