根据最近发布的研究，软件开发人员对大型语言模型 (LLM) 的使用为攻击者提供了比之前想象的更大的机会，可以将恶意软件包分发到开发环境中。
LLM 安全供应商 Lasso Security 的这项研究是去年一份关于潜在的报告的后续研究 攻击者滥用法学硕士产生幻觉的倾向，或者根据用户输入生成看似合理但没有事实依据的结果。
AI套餐幻觉
以前的研究 当软件开发人员在开发环境中向支持人工智能的聊天机器人寻求帮助时，重点关注了 ChatGPT 捏造代码库名称的倾向（以及其他捏造行为）。换句话说，当开发人员可能要求聊天机器人建议在项目中使用的包时，聊天机器人有时会发出指向公共代码存储库上不存在的包的链接。
该研究的作者、现供职于 Lasso Security 的安全研究员 Bar Lanyado 发现，攻击者可以轻松地将实际的恶意软件包投放到 ChatGPT 指向的位置，并为其指定与幻觉软件包相同的名称。任何根据 ChatGPT 的建议下载该软件包的开发人员最终都可能将恶意软件引入其开发环境。
兰亚多的 后续研究 检查了四种不同大型语言模型中包幻觉问题的普遍性：GPT-3.5-Turbo、GPT-4、Gemini Pro（以前称为 Bard）和 Coral（Cohere）。他还测试了每个模型跨不同编程语言生成幻觉包的倾向以及它们生成相同幻觉包的频率。
对于测试，Lanyado 编制了数千个“如何做”问题的列表，这些问题是不同编程环境（python、node.js、go、.net、ruby）中的开发人员最常在开发环境中寻求法学硕士的帮助。然后 Lanyado 向每个模型询问一个与编码相关的问题以及与该问题相关的软件包的推荐。他还要求每个模特再推荐10个套餐来解决同样的问题。
重复结果
结果令人不安。 Lanyado 与 Gemini 的“对话”中有 64.5% 产生了幻觉包，这一比例令人震惊。对于 Coral，这个数字是 29.1%；对于 Coral，这个数字是 4%。其他法学硕士，如 GPT-24.2 (3.5%) 和 GPT22.5 (XNUMX%) 的情况也好不了多少。
当兰亚多向每个模型询问同一组问题 100 次，以观察模型产生相同包裹的幻觉的频率时，他发现重复率也令人惊讶。例如，Cohere 在超过 24% 的时间内吐出相同的幻觉包； GPT-3.5 和 Gemini 的比例约为 14%，GPT-4 的比例为 20%。在一些情况下，不同的模型会产生相同或相似的包的幻觉。这种交叉幻觉模型的数量最多发生在 GPT-3.5 和 Gemini 之间。
Lanyado 表示，即使不同的开发人员向法学硕士提出了关于同一主题的问题，但以不同的方式提出了问题，法学硕士也有可能在每种情况下推荐相同的幻觉包。换句话说，任何使用法学硕士进行编码帮助的开发人员都可能会遇到许多相同的幻觉包。
“问题可能完全不同，但涉及相似的主题，幻觉仍然会发生，这使得这项技术非常有效，”兰亚多说。 “在当前的研究中，我们收到了针对许多不同问题和主题甚至不同模型的‘重复包’，这增加了这些幻觉包被使用的可能性。”
易于利用
例如，拥有一些幻觉包名称的攻击者可以将具有相同名称的包上传到适当的存储库，因为他知道 LLM 很可能会将开发人员指向它。为了证明这种威胁不是理论上的，Lanyado 拿走了他在测试期间遇到的一个名为“huggingface-cli”的幻觉包，并将一个同名的空包上传到 Hugging Face 机器学习模型存储库。他说，开发人员下载该软件包超过 32,000 次。
从威胁行为者的角度来看，软件包幻觉为分发恶意软件提供了相对简单的媒介。 “正如我们从研究结果中看到的那样，这并不难，”他说。 Lanyado 补充道，平均而言，所有模型在近 35 个问题中出现幻觉的比例合计为 48,000%。 GPT-3.5 的幻觉百分比最低；他指出，Gemini 得分最高，所有四个模型的平均重复率为 18%。
Lanyado 建议开发人员在不完全确定其准确性时，在根据法学硕士的软件包建议采取行动时要小心谨慎。他还表示，当开发人员遇到不熟悉的开源软件包时，他们需要访问软件包存储库并检查其社区规模、维护记录、已知漏洞以及整体参与率。开发人员还应该在将包引入开发环境之前对其进行彻底扫描。
