يمثل استخدام مطوري البرامج لنماذج اللغات الكبيرة (LLMs) فرصة أكبر مما كان يُعتقد سابقًا للمهاجمين لتوزيع الحزم الضارة على بيئات التطوير، وفقًا لبحث تم إصداره مؤخرًا.
تعد الدراسة التي أجرتها شركة Lasso Security، شركة LLM المتخصصة في مجال الأمن، بمثابة متابعة لتقرير صدر العام الماضي حول إمكانات يستغل المهاجمون ميل LLMs إلى الهلوسة، أو لإنشاء نتائج تبدو معقولة ولكنها لا تستند إلى حقائق، استجابة لإدخالات المستخدم.
هلوسة حزمة الذكاء الاصطناعي
• الدراسة السابقة ركز على ميل ChatGPT إلى اختلاق أسماء مكتبات الأكواد - من بين افتراءات أخرى - عندما طلب مطورو البرامج مساعدة chatbot المدعم بالذكاء الاصطناعي في بيئة التطوير. بمعنى آخر، يقوم برنامج الدردشة الآلي أحيانًا بنشر روابط لحزم غير موجودة في مستودعات التعليمات البرمجية العامة عندما يطلب منه المطور اقتراح حزم لاستخدامها في المشروع.
وجد الباحث الأمني Bar Lanyado، مؤلف الدراسة والذي يعمل الآن في Lasso Security، أن المهاجمين يمكنهم بسهولة إسقاط حزمة ضارة فعلية في الموقع الذي يشير إليه ChatGPT وإعطائها نفس اسم الحزمة المهلوسة. يمكن لأي مطور يقوم بتنزيل الحزمة بناءً على توصية ChatGPT أن ينتهي به الأمر إلى إدخال برامج ضارة في بيئة التطوير الخاصة به.
لانيادو متابعة البحوث فحص مدى انتشار مشكلة هلوسة الحزمة عبر أربعة نماذج لغوية كبيرة مختلفة: GPT-3.5-Turbo، وGPT-4، وGemini Pro (Bard سابقًا)، وCoral (Cohere). كما اختبر أيضًا ميل كل نموذج إلى توليد حزم مهلوسة عبر لغات برمجة مختلفة والتكرار الذي قاموا من خلاله بتوليد نفس الحزمة المهلوسة.
بالنسبة للاختبارات، قام Lanyado بتجميع قائمة تضم الآلاف من أسئلة "كيفية القيام بذلك" التي يطلبها المطورون في بيئات البرمجة المختلفة - python، وnode.js، وgo، و.net، وروبي - الأكثر شيوعًا الحصول على المساعدة من حاملي شهادات الماجستير في بيئات التطوير. بعد ذلك، طرح Lanyado على كل نموذج سؤالًا متعلقًا بالبرمجة بالإضافة إلى توصية لحزمة تتعلق بالسؤال. كما طلب من كل نموذج أن يوصي بـ 10 حزم إضافية لحل نفس المشكلة.
النتائج المتكررة
وكانت النتائج مثيرة للقلق. لقد أدت 64.5% من "المحادثات" التي أجراها Lanyado مع الجوزاء إلى توليد حزم مهلوسة. وفي كورال، كان هذا الرقم 29.1%؛ لم يكن أداء دورات LLM الأخرى مثل GPT-4 (24.2%) وGPT3.5 (22.5%) أفضل كثيرًا.
عندما سأل لانيادو كل نموذج نفس مجموعة الأسئلة 100 مرة لمعرفة عدد المرات التي تهلوس فيها العارضات بنفس الحزم، وجد أن معدلات التكرار مثيرة للدهشة أيضًا. على سبيل المثال، أطلق كوهير نفس الطرود المهلوسة في أكثر من 24% من الحالات؛ تحدث مع GPT-3.5 وGemini بنسبة 14% تقريبًا، وGPT-4 بنسبة 20%. في عدة حالات، هلوسة نماذج مختلفة بنفس العبوات أو عبوات مماثلة. حدث أكبر عدد من هذه النماذج المهلوسة بين GPT-3.5 وGemini.
يقول Lanyado أنه حتى لو قام مطورون مختلفون بطرح سؤال على ماجستير إدارة الأعمال (LLM) حول نفس الموضوع ولكنهم قاموا بصياغة الأسئلة بشكل مختلف، فهناك احتمال أن توصي LLM بنفس الحزمة المهلوسة في كل حالة. بمعنى آخر، من المحتمل أن يواجه أي مطور يستخدم LLM للمساعدة في البرمجة العديد من نفس الحزم المهلوسة.
يقول لانيادو: “يمكن أن يكون السؤال مختلفًا تمامًا ولكن حول موضوع مماثل، وستظل الهلوسة تحدث، مما يجعل هذه التقنية فعالة للغاية”. "في البحث الحالي، تلقينا "حزمًا متكررة" للعديد من الأسئلة والموضوعات المختلفة وحتى عبر نماذج مختلفة، مما يزيد من احتمالية استخدام هذه الحزم المهلوسة".
سهل الاستغلال
على سبيل المثال، يمكن للمهاجم المسلح بأسماء بعض الحزم المهلوسة تحميل الحزم التي تحمل نفس الأسماء إلى المستودعات المناسبة مع العلم أن هناك احتمالًا كبيرًا بأن يقوم LLM بتوجيه المطورين إليها. ولإثبات أن التهديد ليس نظريًا، أخذ لانيادو حزمة مهلوسة تسمى "huggingface-cli" واجهها أثناء اختباراته وقام بتحميل حزمة فارغة تحمل الاسم نفسه إلى مستودع Hugging Face لنماذج التعلم الآلي. ويقول إن المطورين قاموا بتنزيل هذه الحزمة أكثر من 32,000 مرة.
من وجهة نظر جهة التهديد، توفر هلوسة الحزمة ناقلًا مباشرًا نسبيًا لتوزيع البرامج الضارة. ويقول: "كما رأينا من نتائج البحث، فإن الأمر ليس بهذه الصعوبة". ويضيف لانيادو أنه في المتوسط، كانت جميع العارضات يهلوسن معًا بنسبة 35% لحوالي 48,000 ألف سؤال. وكان GPT-3.5 هو أقل نسبة من الهلوسة. وأشار إلى أن برج الجوزاء سجل أعلى المعدلات، بمتوسط تكرار بلغ 18% في جميع النماذج الأربعة.
يقترح Lanyado أن يتوخى المطورون الحذر عند التصرف بناءً على توصيات الحزمة من LLM عندما لا يكونون متأكدين تمامًا من دقتها. ويقول أيضًا أنه عندما يواجه المطورون حزمة مفتوحة المصدر غير مألوفة، فإنهم يحتاجون إلى زيارة مستودع الحزمة وفحص حجم مجتمعها، وسجلات الصيانة الخاصة بها، ونقاط الضعف المعروفة، ومعدل المشاركة الإجمالي. يجب على المطورين أيضًا فحص الحزمة جيدًا قبل إدخالها في بيئة التطوير.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
