Agenții AI, care combină modele de limbaj mari cu software de automatizare, pot exploata cu succes vulnerabilitățile de securitate din lumea reală citind avizele de securitate, susțin cercetătorii.

Într-un nou lansat hârtie, patru informaticieni de la Universitatea din Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta și Daniel Kang – raportează că modelul de limbaj mare (LLM) GPT-4 al OpenAI poate exploata în mod autonom vulnerabilitățile din sistemele din lumea reală, dacă este dat. un aviz CVE care descrie defectul.

„Pentru a arăta acest lucru, am colectat un set de date de 15 vulnerabilități de o zi care le includ pe cele clasificate ca gravitate critică în descrierea CVE”, explică autorii din SUA în lucrarea lor.

„După descrierea CVE, GPT-4 este capabil să exploateze 87% dintre aceste vulnerabilități, comparativ cu 0% pentru fiecare alt model pe care îl testăm (GPT-3.5, LLM-uri open-source) și scanere de vulnerabilități open-source (ZAP și Metasploit). .”

Dacă extrapolezi la ceea ce pot face modelele viitoare, se pare că vor fi mult mai capabili decât la ce pot avea acces copiii cu scenarii astăzi.

Termenul „vulnerabilitate de o zi” se referă la vulnerabilități care au fost dezvăluite, dar care nu au fost corectate. Și prin descrierea CVE, echipa înseamnă un aviz etichetat CVE partajat de NIST – de exemplu, acesta pentru CVE-2024-28859.

Modelele nereușite testate – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B și OpenChat 3.5 – nu au inclus doi rivali comerciali de top ai GPT-4, Claude 3 de la Anthropic și Gemini 1.5 Pro de la Google. Boffins UIUC nu au avut acces la acele modele, deși speră să le testeze la un moment dat.

Munca cercetătorilor se bazează pe constatări anterioare că LLM-urile pot fi folosite pentru a automatiza atacurile asupra site-urilor web într-un mediu sandbox.

GPT-4, a spus Daniel Kang, profesor asistent la UIUC, într-un e-mail către Registrul, „poate de fapt să efectueze în mod autonom pașii pentru a efectua anumite exploit-uri pe care scanerele de vulnerabilități open-source nu le pot găsi (la momentul scrierii).”

Kang a spus că se așteaptă ca agenți LLM, creați prin (în acest caz) conectarea unui model de chatbot la Reacţiona cadrul de automatizare implementat în LangChain, va face exploatarea mult mai ușoară pentru toată lumea. Ni s-a spus că acești agenți pot urma linkurile din descrierile CVE pentru mai multe informații.

„De asemenea, dacă extrapolezi la ceea ce pot face GPT-5 și modelele viitoare, se pare că vor fi mult mai capabili decât la ce pot avea acces copiii cu scenarii astăzi”, a spus el.

Interzicerea accesului agentului LLM (GPT-4) la descrierea CVE relevantă a redus rata de succes de la 87 la sută la doar șapte procente. Cu toate acestea, Kang a spus că nu crede că limitarea disponibilității publice a informațiilor de securitate este o modalitate viabilă de a se apăra împotriva agenților LLM.

„Personal, nu cred că securitatea prin obscuritate este sustenabilă, ceea ce pare să fie înțelepciunea predominantă printre cercetătorii în domeniul securității”, a explicat el. „Sper că munca mea și alte lucrări vor încuraja măsuri de securitate proactive, cum ar fi actualizarea regulată a pachetelor atunci când apar corecții de securitate.”

Agentul LLM nu a reușit să exploateze doar două dintre cele 15 mostre: Iris XSS (CVE-2024-25640) și Hertzbeat RCE (CVE-2023-51653). Primul, conform lucrării, s-a dovedit problematic, deoarece aplicația web Iris are o interfață care este extrem de dificil de navigat de către agent. Iar acesta din urmă prezintă o descriere detaliată în chineză, care probabil a derutat agentul LLM care operează sub un prompt în limba engleză.

Unsprezece dintre vulnerabilitățile testate au apărut după întreruperea antrenamentului GPT-4, ceea ce înseamnă că modelul nu a aflat nicio dată despre acestea în timpul antrenamentului. Rata sa de succes pentru aceste CVE a fost ușor mai mică, la 82 la sută, sau 9 din 11.

În ceea ce privește natura erorilor, toate sunt enumerate în lucrarea de mai sus și ni se spune: „Vulnerabilitățile noastre se referă la vulnerabilitățile site-ului web, vulnerabilitățile containerului și pachetele vulnerabile Python. Peste jumătate sunt clasificate ca gravitate „înaltă” sau „critică” în conformitate cu descrierea CVE.”

Kang și colegii săi au calculat costul efectuării unui atac de succes al unui agent LLM și au venit cu o cifră de 8.80 USD per exploit, despre care spun ei că este de aproximativ 2.8 ori mai puțin decât ar costa angajarea unui tester de penetrare umană pentru 30 de minute.

Codul agentului, conform lui Kang, este format din doar 91 de linii de cod și 1,056 de jetoane pentru prompt. Cercetătorii au fost rugați de OpenAI, producătorul GPT-4, să nu elibereze solicitările lor către public, deși spun că le vor furniza la cerere.

OpenAI nu a răspuns imediat unei solicitări de comentarii. ®

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/