Gli agenti di intelligenza artificiale, che combinano modelli linguistici di grandi dimensioni con software di automazione, possono sfruttare con successo le vulnerabilità della sicurezza del mondo reale leggendo gli avvisi di sicurezza, hanno affermato gli accademici.

In un nuovo carta, quattro scienziati informatici dell'Università dell'Illinois Urbana-Champaign (UIUC) - Richard Fang, Rohan Bindu, Akul Gupta e Daniel Kang - riferiscono che il modello LLM (Large Language Model) GPT-4 di OpenAI può sfruttare autonomamente le vulnerabilità nei sistemi del mondo reale se fornito un avviso CVE che descrive il difetto.

"Per dimostrarlo, abbiamo raccolto un set di dati di 15 vulnerabilità di un giorno che includono quelle classificate come gravità critica nella descrizione CVE", spiegano gli autori statunitensi nel loro articolo.

"Quando viene fornita la descrizione CVE, GPT-4 è in grado di sfruttare l'87% di queste vulnerabilità rispetto allo 0% per ogni altro modello che testiamo (GPT-3.5, LLM open source) e scanner di vulnerabilità open source (ZAP e Metasploit) .”

Se si estrapola ciò che i modelli futuri possono fare, sembra probabile che saranno molto più capaci di ciò a cui gli script kiddie possono accedere oggi

Il termine “vulnerabilità di un giorno” si riferisce a vulnerabilità che sono state divulgate ma non risolte. E per descrizione CVE, il team intende un avviso con tag CVE condiviso dal NIST – ad esempio, questo per CVE-2024-28859.

I modelli testati senza successo: GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B e OpenChat 3.5 - non includeva due principali rivali commerciali di GPT-4, Claude 3 di Anthropic e Gemini 1.5 Pro di Google. Gli scienziati dell’UIUC non hanno avuto accesso a questi modelli, anche se sperano di testarli prima o poi.

Il lavoro dei ricercatori si basa su risultati precedenti che gli LLM possono essere utilizzati per automatizzare gli attacchi ai siti Web in un ambiente sandbox.

GPT-4, ha affermato Daniel Kang, assistente professore presso l'UIUC, in un'e-mail a Il registro, "può effettivamente eseguire autonomamente i passaggi per eseguire determinati exploit che gli scanner di vulnerabilità open source non riescono a trovare (al momento della stesura di questo articolo)."

Kang ha detto che si aspetta agenti LLM, creati (in questo caso) collegando un modello di chatbot al Reagire il framework di automazione implementato in LangChain, renderà lo sfruttamento molto più semplice per tutti. Ci viene detto che questi agenti possono seguire i collegamenti nelle descrizioni CVE per ulteriori informazioni.

"Inoltre, se si estrapola ciò che possono fare GPT-5 e i modelli futuri, sembra probabile che saranno molto più capaci di ciò a cui possono accedere oggi gli script kiddie", ha affermato.

Negare all'agente LLM (GPT-4) l'accesso alla descrizione CVE pertinente ha ridotto la percentuale di successo dall'87% a solo il XNUMX%. Tuttavia, Kang ha affermato di non credere che limitare la disponibilità pubblica delle informazioni sulla sicurezza sia un modo praticabile per difendersi dagli agenti LLM.

"Personalmente non penso che la sicurezza attraverso l'oscurità sia sostenibile, il che sembra essere la saggezza prevalente tra i ricercatori nel campo della sicurezza", ha spiegato. "Spero che il mio lavoro, e altri lavori, incoraggino misure di sicurezza proattive come l'aggiornamento regolare dei pacchetti quando escono le patch di sicurezza."

L'agente LLM non è riuscito a sfruttare solo due dei 15 campioni: Iris XSS (CVE-2024-25640) e Hertzbeat RCE (CVE-2023-51653). Il primo, secondo il documento, si è rivelato problematico perché l'app web Iris ha un'interfaccia estremamente difficile da navigare per l'agente. E quest'ultimo presenta una descrizione dettagliata in cinese, che presumibilmente ha confuso l'agente LLM che operava con un prompt in lingua inglese.

Undici delle vulnerabilità testate si sono verificate dopo il termine dell'addestramento di GPT-4, il che significa che il modello non ha appreso alcun dato su di esse durante l'addestramento. Il tasso di successo per questi CVE era leggermente inferiore, pari all’82%, ovvero 9 su 11.

Per quanto riguarda la natura dei bug, sono tutti elencati nel documento sopra e ci viene detto: “Le nostre vulnerabilità comprendono vulnerabilità del sito Web, vulnerabilità del contenitore e pacchetti Python vulnerabili. Oltre la metà è classificata come gravità “elevata” o “critica” in base alla descrizione CVE”.

Kang e i suoi colleghi hanno calcolato il costo per condurre con successo un attacco ad un agente LLM e hanno calcolato una cifra di 8.80 dollari per exploit, che secondo loro è circa 2.8 volte inferiore a quanto costerebbe assumere un penetration tester umano per 30 minuti.

Il codice dell'agente, secondo Kang, è composto da sole 91 righe di codice e 1,056 token per il prompt. OpenAI, il produttore di GPT-4, ha chiesto ai ricercatori di non rilasciare i loro suggerimenti al pubblico, anche se affermano che li forniranno su richiesta.

OpenAI non ha risposto immediatamente a una richiesta di commento. ®

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/