제퍼넷 로고

생성 데이터 인텔리전스

AI

GPT-4는 권고를 읽어 실제 취약점을 악용할 수 있습니다.

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 70

대규모 언어 모델과 자동화 소프트웨어를 결합한 AI 에이전트는 보안 권고를 읽어 실제 보안 취약점을 성공적으로 악용할 수 있다고 학계는 주장합니다.

새로 출시 된 종이, UIUC(일리노이 대학교 Urbana-Champaign) 컴퓨터 과학자 4명(Richard Fang, Rohan Bindu, Akul Gupta 및 Daniel Kang)은 OpenAI의 GPT-XNUMX LLM(대형 언어 모델)이 주어진 경우 실제 시스템의 취약성을 자율적으로 악용할 수 있다고 보고합니다. 결함을 설명하는 CVE 권고.

"이를 보여주기 위해 우리는 CVE 설명에서 심각한 심각도로 분류된 취약점을 포함하는 15개의 일일 취약점 데이터 세트를 수집했습니다."라고 미국 기반 작성자는 논문에서 설명합니다.

“CVE 설명이 주어지면 GPT-4는 우리가 테스트하는 다른 모든 모델(GPT-87, 오픈 소스 LLM)과 오픈 소스 취약성 스캐너(ZAP 및 Metasploit)의 0%에 비해 이러한 취약점의 3.5%를 악용할 수 있습니다. .”

미래의 모델이 무엇을 할 수 있는지 추정해 보면 현재 스크립트 키디가 액세스할 수 있는 것보다 훨씬 더 많은 능력을 발휘할 것으로 보입니다.

'1일 취약점'이라는 용어는 공개되었으나 패치가 적용되지 않은 취약점을 의미합니다. CVE 설명에서 팀은 NIST가 공유하는 CVE 태그가 지정된 권고를 의미합니다. 예: 이것 CVE-2024-28859용.

테스트되지 않은 모델 - GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat(70B), LLaMA-2 Chat(13B), LLaMA-2 Chat(7B), Mixtral-8x7B Instruct, Mistral(7B) Instruct v0.2, Nous Hermes-2 Yi 34B 및 OpenChat 3.5에는 GPT-4의 주요 상용 라이벌인 Anthropic의 Claude 3 및 Google의 Gemini 1.5 Pro가 포함되지 않았습니다. UIUC 보핀은 해당 모델에 액세스할 수 없었지만 언젠가는 테스트할 수 있기를 바랍니다.

연구진의 작업은 다음을 기반으로 합니다. 사전 조사 결과 LLM을 사용하면 샌드박스 환경에서 웹사이트에 대한 공격을 자동화할 수 있습니다.

UIUC 조교수 Daniel Kang은 GPT-4에 대해 다음과 같이 이메일을 통해 말했습니다. 등록, "오픈 소스 취약점 스캐너가 (작성 당시) 찾을 수 없는 특정 공격을 수행하는 단계를 실제로 자율적으로 수행할 수 있습니다."

강씨는 (이 경우) 챗봇 모델을 네트워크에 연결하여 생성된 LLM 에이전트를 기대한다고 말했습니다. 반응 LangChain에 구현된 자동화 프레임워크는 모든 사람이 훨씬 더 쉽게 활용할 수 있도록 해줄 것입니다. 이러한 에이전트는 CVE 설명에 있는 링크를 따라가면 자세한 내용을 확인할 수 있습니다.

"또한 GPT-5와 미래 모델이 무엇을 할 수 있는지 추정해 보면 오늘날 스크립트 키디가 액세스할 수 있는 것보다 훨씬 더 많은 능력을 발휘할 가능성이 높습니다."라고 그는 말했습니다.

관련 CVE 설명에 대한 LLM 에이전트(GPT-4) 액세스를 거부하면 성공률이 87%에서 단 XNUMX%로 감소했습니다. 그러나 강씨는 보안 정보의 공개 가용성을 제한하는 것이 LLM 에이전트를 방어할 수 있는 실행 가능한 방법이라고 생각하지 않는다고 말했습니다.

“저는 개인적으로 모호함을 통한 보안이 유지될 수 없다고 생각합니다. 이는 보안 연구자들 사이에 널리 퍼져 있는 지혜인 것 같습니다.”라고 그는 설명했습니다. “내 작업과 기타 작업을 통해 보안 패치가 나올 때 정기적으로 패키지를 업데이트하는 등 사전 예방적인 보안 조치가 장려되기를 바랍니다.”

LLM 에이전트는 15개 샘플 중 Iris XSS(CVE-2024-25640)와 Hertzbeat RCE(CVE-2023-51653) XNUMX개만 악용하지 못했습니다. 논문에 따르면 전자는 Iris 웹 앱이 에이전트가 탐색하기 매우 어려운 인터페이스를 가지고 있기 때문에 문제가 있는 것으로 입증되었습니다. 그리고 후자는 중국어로 자세한 설명을 제공하는데, 이는 아마도 영어 프롬프트에서 작동하는 LLM 에이전트를 혼동했을 것입니다.

테스트된 취약점 중 4개는 GPT-82의 훈련 중단 이후에 발생했습니다. 이는 모델이 훈련 중에 이에 대한 데이터를 학습하지 못했음을 의미합니다. 이러한 CVE의 성공률은 9%(11점 만점에 XNUMX점)로 약간 낮았습니다.

버그의 성격에 대해서는 위 문서에 모두 나열되어 있으며 다음과 같이 설명합니다. “우리의 취약점은 웹사이트 취약점, 컨테이너 취약점 및 취약한 Python 패키지에 걸쳐 있습니다. 절반 이상이 CVE 설명에 따라 심각도가 '높음' 또는 '심각'으로 분류됩니다."

Kang과 그의 동료들은 성공적인 LLM 에이전트 공격을 수행하는 데 드는 비용을 계산하여 익스플로잇 당 8.80달러라는 수치를 도출했습니다. 이는 인간 침투 테스터를 2.8분 동안 고용하는 데 드는 비용보다 약 30배 저렴하다고 말합니다.

Kang에 따르면 에이전트 코드는 단 91줄의 코드와 프롬프트용 토큰 1,056개로 구성됩니다. 연구원들은 GPT-4 제조사인 OpenAI로부터 프롬프트를 대중에게 공개하지 말 것을 요청받았으나 요청 시 제공하겠다고 밝혔습니다.

OpenAI는 논평 요청에 즉시 응답하지 않았습니다. ®

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.