Os agentes de IA, que combinam grandes modelos de linguagem com software de automação, podem explorar com sucesso vulnerabilidades de segurança do mundo real lendo avisos de segurança, afirmam os acadêmicos.

Em um recém-lançado papel, quatro cientistas da computação da Universidade de Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta e Daniel Kang – relatam que o modelo de linguagem grande (LLM) GPT-4 da OpenAI pode explorar vulnerabilidades de forma autônoma em sistemas do mundo real, se fornecido um comunicado CVE descrevendo a falha.

“Para mostrar isso, coletamos um conjunto de dados de 15 vulnerabilidades de um dia que incluem aquelas categorizadas como gravidade crítica na descrição do CVE”, explicam os autores dos EUA em seu artigo.

“Quando dada a descrição do CVE, o GPT-4 é capaz de explorar 87 por cento dessas vulnerabilidades, em comparação com 0 por cento para todos os outros modelos que testamos (GPT-3.5, LLMs de código aberto) e scanners de vulnerabilidade de código aberto (ZAP e Metasploit) .”

Se você extrapolar para o que os modelos futuros podem fazer, parece provável que eles serão muito mais capazes do que os script kiddies podem ter acesso hoje.

O termo “vulnerabilidade de um dia” refere-se a vulnerabilidades que foram divulgadas, mas não corrigidas. E pela descrição do CVE, a equipe se refere a um comunicado com a tag CVE compartilhado pelo NIST – por exemplo, este para CVE-2024-28859.

Os modelos malsucedidos testados – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B e OpenChat 3.5 – não incluíam dois principais rivais comerciais do GPT-4, Claude 3 da Anthropic e Gemini 1.5 Pro do Google. Os especialistas da UIUC não tiveram acesso a esses modelos, embora esperem testá-los em algum momento.

O trabalho dos pesquisadores baseia-se descobertas anteriores que os LLMs podem ser usados ​​para automatizar ataques a sites em um ambiente de área restrita.

GPT-4, disse Daniel Kang, professor assistente da UIUC, em um e-mail para O registro, “pode realmente executar de forma autônoma as etapas para realizar certas explorações que os scanners de vulnerabilidade de código aberto não conseguem encontrar (no momento em que este artigo foi escrito)”.

Kang disse que espera que os agentes LLM, criados (neste caso) conectando um modelo de chatbot ao Reagir estrutura de automação implementada em LangChain tornará a exploração muito mais fácil para todos. Disseram-nos que esses agentes podem seguir os links nas descrições do CVE para obter mais informações.

“Além disso, se você extrapolar para o que o GPT-5 e os modelos futuros podem fazer, parece provável que eles serão muito mais capazes do que os script kiddies podem ter acesso hoje”, disse ele.

Negar ao agente LLM (GPT-4) acesso à descrição relevante do CVE reduziu sua taxa de sucesso de 87% para apenas sete%. No entanto, Kang disse que não acredita que limitar a disponibilidade pública de informações de segurança seja uma forma viável de defesa contra agentes do LLM.

“Pessoalmente, não creio que a segurança através da obscuridade seja sustentável, o que parece ser a sabedoria predominante entre os investigadores de segurança”, explicou ele. “Espero que meu trabalho, e outros trabalhos, incentivem medidas de segurança proativas, como a atualização regular de pacotes quando os patches de segurança forem lançados.”

O agente LLM não conseguiu explorar apenas duas das 15 amostras: Iris XSS (CVE-2024-25640) e Hertzbeat RCE (CVE-2023-51653). O primeiro, segundo o jornal, mostrou-se problemático porque o aplicativo web Iris possui uma interface extremamente difícil de navegar para o agente. E este último apresenta uma descrição detalhada em chinês, o que presumivelmente confundiu o agente LLM que operava sob uma solicitação em inglês.

Onze das vulnerabilidades testadas ocorreram após o corte de treinamento do GPT-4, o que significa que o modelo não aprendeu nenhum dado sobre elas durante o treinamento. A sua taxa de sucesso para estes CVEs foi ligeiramente inferior, de 82 por cento, ou 9 em 11.

Quanto à natureza dos bugs, todos eles estão listados no artigo acima, e somos informados: “Nossas vulnerabilidades abrangem vulnerabilidades de sites, vulnerabilidades de contêineres e pacotes Python vulneráveis. Mais da metade são categorizados como gravidade ‘alta’ ou ‘crítica’ pela descrição do CVE.”

Kang e seus colegas calcularam o custo para conduzir um ataque de agente LLM bem-sucedido e chegaram a um valor de US$ 8.80 por exploração, que eles dizem ser cerca de 2.8 vezes menos do que custaria contratar um testador de penetração humano por 30 minutos.

O código do agente, segundo Kang, consiste em apenas 91 linhas de código e 1,056 tokens para o prompt. Os pesquisadores foram solicitados pela OpenAI, fabricante do GPT-4, a não divulgar suas solicitações ao público, embora afirmem que as fornecerão mediante solicitação.

A OpenAI não respondeu imediatamente a um pedido de comentário. ®

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/