根據最近發布的研究，軟體開發人員對大型語言模型 (LLM) 的使用為攻擊者提供了比之前想像的更大的機會，可以將惡意軟體包分發到開發環境中。
LLM 安全供應商 Lasso Security 的這項研究是去年一份關於潛在的報告的後續研究 攻擊者濫用法學碩士產生幻覺的傾向，或根據使用者輸入產生看似合理但沒有事實依據的結果。
AI套餐幻覺
以前的研究 當軟體開發人員在開發環境中向支援人工智慧的聊天機器人尋求協助時，重點關注了 ChatGPT 捏造程式碼庫名稱的傾向（以及其他捏造行為）。換句話說，當開發人員可能要求聊天機器人建議在專案中使用的套件時，聊天機器人有時會發出指向公共程式碼儲存庫上不存在的套件的連結。
該研究的作者、現任職於 Lasso Security 的安全研究員 Bar Lanyado 發現，攻擊者可以輕鬆地將實際的惡意軟體包投放到 ChatGPT 指向的位置，並為其指定與幻覺軟體包相同的名稱。任何根據 ChatGPT 的建議下載該軟體包的開發人員最終都可能將惡意軟體引入其開發環境。
蘭亞多的 後續研究 檢查了四種不同大型語言模型中包幻覺問題的普遍性：GPT-3.5-Turbo、GPT-4、Gemini Pro（以前稱為 Bard）和 Coral（Cohere）。他還測試了每個模型跨不同程式語言產生幻覺包的傾向以及它們產生相同幻覺包的頻率。
對於測試，Lanyado 編制了數千個「如何做」問題的列表，這些問題是不同程式設計環境（python、node.js、go、.net、ruby）中的開發人員最常在開發環境中尋求法學碩士的幫助。然後 Lanyado 向每個模型詢問一個與編碼相關的問題以及與該問題相關的軟體包的推薦。他也要求每位模特兒再推薦10個套餐來解決同樣的問題。
重複結果
結果令人不安。 Lanyado 與 Gemini 的「對話」中有 64.5% 產生了幻覺包，這一比例令人震驚。對於 Coral，這個數字是 29.1%；對於 Coral，這個數字是 4%。其他法學碩士，如 GPT-24.2 (3.5%) 和 GPT22.5 (XNUMX%) 的情況也好不了多少。
當蘭亞多向每個模型詢問同一組問題 100 次，以觀察模型產生相同包裹的幻覺的頻率時，他發現重複率也令人驚訝。例如，Cohere 在超過 24% 的時間內吐出相同的幻覺包； GPT-3.5 和 Gemini 的比例約為 14%，GPT-4 的比例為 20%。在一些情況下，不同的模型會產生相同或相似的包的幻覺。這種交叉幻覺模型的數量最多發生在 GPT-3.5 和 Gemini 之間。
Lanyado 表示，即使不同的開發人員向法學碩士提出了關於同一主題的問題，但以不同的方式提出了問題，法學碩士也有可能在每種情況下推薦相同的幻覺包。換句話說，任何使用法學碩士進行編碼幫助的開發人員都可能會遇到許多相同的幻覺包。
「問題可能完全不同，但涉及相似的主題，幻覺仍然會發生，這使得這項技術非常有效，」蘭亞多說。 “在目前的研究中，我們收到了針對許多不同問題和主題甚至不同模型的‘重複包’，這增加了這些幻覺包被使用的可能性。”
易於利用
例如，擁有一些幻覺套件名稱的攻擊者可以將具有相同名稱的套件上傳到適當的儲存庫，因為他知道 LLM 很可能會將開發人員指向它。為了證明這種威脅不是理論上的，Lanyado 拿走了他在測試期間遇到的一個名為“huggingface-cli”的幻覺包，並將一個同名的空包上傳到 Hugging Face 機器學習模型存儲庫。他說，開發人員下載該軟體包超過 32,000 次。
從威脅行為者的角度來看，軟體包幻覺為分發惡意軟體提供了相對簡單的媒介。 「正如我們從研究結果中看到的那樣，這並不難，」他說。 Lanyado 補充道，平均而言，所有模型在近 35 個問題中出現幻覺的比例合計為 48,000%。 GPT-3.5 的幻覺百分比最低；他指出，Gemini 得分最高，所有四個模型的平均重複率為 18%。
Lanyado 建議開發人員在不完全確定其準確性時，在根據法學碩士的軟體包建議採取行動時要小心謹慎。他還表示，當開發人員遇到不熟悉的開源軟體包時，他們需要存取軟體包儲存庫並檢查其社群規模、維護記錄、已知漏洞以及整體參與率。開發人員還應該在將包引入開發環境之前對其進行徹底掃描。
