AI-agenter, som kombinerar stora språkmodeller med automatiseringsprogramvara, kan framgångsrikt utnyttja verkliga säkerhetssårbarheter genom att läsa säkerhetsråd, har akademiker hävdat.

I en nysläppt papper, fyra datavetare vid University of Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta och Daniel Kang – rapporterar att OpenAI:s GPT-4 stora språkmodell (LLM) autonomt kan utnyttja sårbarheter i verkliga system om den ges. en CVE-rådgivning som beskriver felet.

"För att visa detta har vi samlat in en datauppsättning med 15 endagssårbarheter som inkluderar sådana som kategoriseras som kritisk svårighetsgrad i CVE-beskrivningen", förklarar de USA-baserade författarna i sin artikel.

"När CVE-beskrivningen ges, kan GPT-4 utnyttja 87 procent av dessa sårbarheter jämfört med 0 procent för alla andra modeller vi testar (GPT-3.5, öppen källkod LLMs) och öppen källkod sårbarhetsskannrar (ZAP och Metasploit) .”

Om du extrapolerar till vad framtida modeller kan göra, verkar det troligt att de kommer att vara mycket mer kapabla än vad manusbarn kan få tillgång till idag

Termen "endagssårbarhet" hänvisar till sårbarheter som har avslöjats men inte åtgärdats. Och med CVE-beskrivningen menar teamet en CVE-taggad rådgivning som delas av NIST – t.ex. denna för CVE-2024-28859.

De misslyckade modellerna som testades – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B och OpenChat 3.5 – inkluderade inte två ledande kommersiella rivaler av GPT-4, Anthropics Claude 3 och Googles Gemini 1.5 Pro. UIUC-boffinerna hade inte tillgång till dessa modeller, även om de hoppas kunna testa dem någon gång.

Forskarnas arbete bygger vidare på tidigare fynd att LLM:er kan användas för att automatisera attacker på webbplatser i en sandlådemiljö.

GPT-4, sa Daniel Kang, biträdande professor vid UIUC, i ett mejl till Registret, "kan faktiskt självständigt utföra stegen för att utföra vissa exploateringar som sårbarhetsskannrar med öppen källkod inte kan hitta (i skrivande stund)."

Kang sa att han förväntar sig LLM-agenter, skapade genom att (i det här fallet) koppla en chatbot-modell till Reagera automationsramverket implementerat i LangChain, kommer att göra exploateringen mycket enklare för alla. Dessa agenter kan, får vi veta, följa länkar i CVE-beskrivningar för mer information.

"Dessutom, om du extrapolerar till vad GPT-5 och framtida modeller kan göra, verkar det troligt att de kommer att vara mycket mer kapabla än vad manusbarn kan få tillgång till idag," sa han.

Genom att neka LLM-agenten (GPT-4) tillgång till den relevanta CVE-beskrivningen minskade dess framgångsfrekvens från 87 procent till bara sju procent. Kang sa dock att han inte tror att det är ett hållbart sätt att försvara sig mot LLM-agenter att begränsa den offentliga tillgången till säkerhetsinformation.

"Jag personligen tror inte att säkerhet genom dunkel är hållbar, vilket verkar vara den rådande visdomen bland säkerhetsforskare," förklarade han. "Jag hoppas att mitt arbete och annat arbete kommer att uppmuntra proaktiva säkerhetsåtgärder som att uppdatera paket regelbundet när säkerhetskorrigeringar kommer ut."

LLM-agenten misslyckades med att utnyttja bara två av de 15 proverna: Iris XSS (CVE-2024-25640) och Hertzbeat RCE (CVE-2023-51653). Den förstnämnda, enligt tidningen, visade sig vara problematisk eftersom Iris webbapp har ett gränssnitt som är extremt svårt för agenten att navigera. Och den sistnämnda har en detaljerad beskrivning på kinesiska, vilket förmodligen förvirrade LLM-agenten som arbetar under en engelskspråkig uppmaning.

Elva av de testade sårbarheterna inträffade efter GPT-4:s träningsavbrott, vilket betyder att modellen inte hade lärt sig någon data om dem under träningen. Dess framgångsfrekvens för dessa CVE var något lägre på 82 procent, eller 9 av 11.

När det gäller typ av buggar, är de alla listade i ovanstående papper, och vi får veta: "Våra sårbarheter spänner över webbplatssårbarheter, containersårbarheter och sårbara Python-paket. Över hälften kategoriseras som "hög" eller "kritisk" svårighetsgrad av CVE-beskrivningen."

Kang och hans kollegor beräknade kostnaden för att genomföra en framgångsrik LLM-agentattack och kom fram till en siffra på $8.80 per exploatering, vilket de säger är cirka 2.8 gånger mindre än det skulle kosta att anlita en mänsklig penetrationstestare i 30 minuter.

Agentkoden, enligt Kang, består av bara 91 rader kod och 1,056 4 tokens för prompten. Forskarna ombads av OpenAI, tillverkaren av GPT-XNUMX, att inte släppa sina uppmaningar till allmänheten, även om de säger att de kommer att tillhandahålla dem på begäran.

OpenAI svarade inte omedelbart på en begäran om kommentar. ®

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/