제퍼넷 로고

생성 데이터 인텔리전스

사이버 보안

만연한 LLM 환각으로 인해 코드 개발자의 공격 표면 확대

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 60

최근 발표된 연구에 따르면 소프트웨어 개발자의 LLM(대형 언어 모델) 사용은 공격자가 개발 환경에 악성 패키지를 배포할 수 있는 이전에 생각했던 것보다 더 큰 기회를 제공한다고 합니다.

LLM 보안 공급업체 Lasso Security의 연구는 작년에 발생한 잠재적인 보안에 대한 보고서의 후속 조치입니다. LLM의 환각 경향을 남용하는 공격자, 또는 그럴듯해 보이지만 사실 근거가 없는 결과를 생성하는 경우 사용자 입력에 대한 응답으로 결과를 생성합니다.

AI 패키지 환각

XNUMXD덴탈의 이전 연구 소프트웨어 개발자가 개발 환경에서 AI 지원 챗봇의 도움을 요청할 때 ChatGPT가 코드 라이브러리의 이름을 조작하는 경향에 중점을 두었습니다. 즉, 개발자가 프로젝트에 사용할 패키지를 제안해 달라고 요청하면 챗봇은 공개 코드 저장소에 존재하지 않는 패키지에 대한 링크를 뿜어내는 경우가 있었습니다.

연구 작성자이자 현재 Lasso Security에 있는 보안 연구원 Bar Lanyado는 공격자가 ChatGPT가 가리키는 위치에 실제 악성 패키지를 쉽게 드롭하고 환각 패키지와 동일한 이름을 부여할 수 있음을 발견했습니다. ChatGPT의 권장 사항에 따라 패키지를 다운로드하는 개발자는 결국 개발 환경에 악성 코드가 유입될 수 있습니다.

란야도의 후속 연구 GPT-3.5-Turbo, GPT-4, Gemini Pro(이전 Bard) 및 Coral(Cohere)의 네 가지 대규모 언어 모델에서 패키지 환각 문제의 만연성을 조사했습니다. 그는 또한 다양한 프로그래밍 언어에 걸쳐 환각 패키지를 생성하는 각 모델의 성향과 동일한 환각 패키지를 생성하는 빈도를 테스트했습니다.

테스트를 위해 Lanyado는 Python, node.js, go, .net, Ruby 등 다양한 프로그래밍 환경의 개발자가 개발 환경에서 LLM의 도움을 가장 일반적으로 찾는 수천 개의 "방법" 질문 목록을 작성했습니다. 그런 다음 Lanyado는 각 모델에 코딩 관련 질문과 해당 질문과 관련된 패키지에 대한 권장 사항을 질문했습니다. 그는 또한 동일한 문제를 해결하기 위해 각 모델에 10개의 패키지를 더 추천하도록 요청했습니다.

반복적인 결과

결과는 걱정스러웠습니다. Lanyado가 Gemini와 나눈 "대화"의 놀랍게도 64.5%가 환각 패키지를 생성했습니다. Coral의 경우 그 수치는 29.1%였습니다. GPT-4(24.2%) 및 GPT3.5(22.5%)와 같은 다른 LLM은 그다지 나아지지 않았습니다.

Lanyado는 모델이 동일한 패키지를 얼마나 자주 환각하는지 확인하기 위해 각 모델에 동일한 질문 세트를 100번 요청했을 때 반복률도 눈썹을 치켜올리는 것으로 나타났습니다. 예를 들어 Cohere는 전체 시간의 24% 이상 동안 동일한 환각 패키지를 뿜어냈습니다. 채팅 GPT-3.5 및 Gemini는 약 14%, GPT-4는 20%입니다. 여러 가지 경우에, 서로 다른 모델이 동일하거나 유사한 패키지를 환각적으로 보였습니다. 이러한 교차 환각 모델의 가장 많은 수는 GPT-3.5와 Gemini 사이에서 발생했습니다.

Lanyado는 서로 다른 개발자가 동일한 주제에 대해 LLM에 질문을 했지만 질문을 다르게 작성하더라도 LLM이 각 경우에 동일한 환각 패키지를 권장할 가능성이 있다고 말합니다. 즉, 코딩 지원을 위해 LLM을 사용하는 개발자는 동일한 환각 패키지를 많이 접하게 될 가능성이 높습니다.

"질문은 완전히 다를 수 있지만 비슷한 주제에 대해 환각이 계속 발생하므로 이 기술이 매우 효과적입니다."라고 Lanyado는 말합니다. "현재 연구에서 우리는 다양한 질문과 주제에 대해, 심지어 다양한 모델에 걸쳐 '반복 패키지'를 받았는데, 이는 이러한 환각 패키지가 사용될 확률을 높입니다."

악용하기 쉬움

예를 들어, 몇 가지 환각적인 패키지의 이름으로 무장한 공격자는 LLM이 개발자에게 이를 알려줄 가능성이 높다는 것을 알고 동일한 이름의 패키지를 적절한 리포지토리에 업로드할 수 있습니다. 위협이 이론적인 것이 아님을 입증하기 위해 Lanyado는 테스트 중에 발견한 "huggingface-cli"라는 환각 패키지 하나를 가져와 기계 학습 모델을 위한 Hugging Face 저장소에 동일한 이름의 빈 패키지를 업로드했습니다. 개발자들은 해당 패키지를 32,000회 이상 다운로드했다고 그는 말합니다.

위협 행위자의 관점에서 패키지 환각은 맬웨어 배포를 위한 비교적 간단한 벡터를 제공합니다. “연구 결과에서 보았듯이 그렇게 어렵지는 않습니다.”라고 그는 말합니다. 평균적으로 모든 모델은 거의 35개의 질문에 대해 48,000%의 환각을 느꼈다고 Lanyado는 덧붙였습니다. GPT-3.5는 환각 비율이 가장 낮았습니다. 그는 Gemini가 18개 모델 모두에서 평균 반복성이 XNUMX%로 가장 높은 점수를 받았다고 말합니다.

Lanyado는 개발자가 LLM의 패키지 권장 사항을 수행할 때 정확성이 완전히 확실하지 않은 경우 주의를 기울일 것을 제안합니다. 그는 또한 개발자가 익숙하지 않은 오픈 소스 패키지를 접하면 패키지 저장소를 방문하여 커뮤니티 규모, 유지 관리 기록, 알려진 취약점 및 전반적인 참여율을 조사해야 한다고 말합니다. 또한 개발자는 개발 환경에 패키지를 도입하기 전에 패키지를 철저하게 검사해야 합니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.