زعم أكاديميون أن عملاء الذكاء الاصطناعي، الذين يجمعون بين نماذج اللغات الكبيرة وبرامج التشغيل الآلي، يمكنهم بنجاح استغلال الثغرات الأمنية في العالم الحقيقي من خلال قراءة النصائح الأمنية.
في إصدار جديد ورقة، أفاد أربعة من علماء الكمبيوتر بجامعة إلينوي أوربانا شامبين (UIUC) - ريتشارد فانغ، وروهان بيندو، وأكول غوبتا، ودانييل كانغ - أن نموذج اللغة الكبيرة GPT-4 الخاص بـ OpenAI (LLM) يمكنه استغلال نقاط الضعف في أنظمة العالم الحقيقي بشكل مستقل إذا تم إعطاؤه استشاري مكافحة التطرف العنيف الذي يصف الخلل.
"لإظهار ذلك، قمنا بجمع مجموعة بيانات مكونة من 15 نقطة ضعف ليوم واحد، بما في ذلك تلك التي تم تصنيفها على أنها خطيرة للغاية في وصف مكافحة التطرف العنيف"، يوضح المؤلفون المقيمون في الولايات المتحدة في ورقتهم البحثية.
"عند إعطاء وصف CVE، فإن GPT-4 قادر على استغلال 87 بالمائة من هذه الثغرات الأمنية مقارنة بـ 0 بالمائة لكل نموذج آخر نختبره (GPT-3.5، LLMs مفتوحة المصدر) وأجهزة فحص الثغرات مفتوحة المصدر (ZAP وMetasploit). ".
إذا قمت باستقراء ما يمكن أن تفعله النماذج المستقبلية، فمن المرجح أنها ستكون أكثر قدرة بكثير مما يمكن للأطفال الوصول إليه اليوم
يشير مصطلح "الثغرة الأمنية ليوم واحد" إلى الثغرات الأمنية التي تم الكشف عنها ولكن لم يتم تصحيحها. ومن خلال وصف CVE، يعني الفريق الاستشارة الموسومة بـ CVE والتي تتم مشاركتها بواسطة NIST - على سبيل المثال، هذا لـ CVE-2024-28859.
النماذج غير الناجحة التي تم اختبارها - GPT-3.5، OpenHermes-2.5-Mistral-7B، Llama-2 Chat (70B)، LLaMA-2 Chat (13B)، LLaMA-2 Chat (7B)، Mixtral-8x7B Instruct، Mistral (7B) Instruct v0.2، Nous Hermes-2 Yi 34B، وOpenChat 3.5 - لم تتضمن اثنين من المنافسين التجاريين الرئيسيين لـ GPT-4، Anthropic's Claude 3 وGoogle's Gemini 1.5 Pro. لم يتمكن خبراء UIUC من الوصول إلى تلك النماذج، على الرغم من أنهم يأملون في اختبارها في مرحلة ما.
يعتمد عمل الباحثين على النتائج السابقة أنه يمكن استخدام LLMs لأتمتة الهجمات على مواقع الويب في بيئة وضع الحماية.
GPT-4، قال دانيال كانغ، الأستاذ المساعد في UIUC، في رسالة بالبريد الإلكتروني إلى السجل، "يمكنه في الواقع تنفيذ الخطوات بشكل مستقل لتنفيذ عمليات استغلال معينة لا يمكن لبرامج فحص الثغرات مفتوحة المصدر العثور عليها (في وقت كتابة هذا التقرير)."
قال كانغ إنه يتوقع وكلاء LLM، الذين تم إنشاؤهم عن طريق (في هذه الحالة) توصيل نموذج chatbot إلى تتفاعل إطار الأتمتة المطبق في LangChain، سيجعل الاستغلال أسهل بكثير للجميع. قيل لنا أن هؤلاء الوكلاء يمكنهم اتباع الروابط الموجودة في أوصاف مكافحة التطرف العنيف لمزيد من المعلومات.
وقال: "أيضًا، إذا قمت باستقراء ما يمكن أن يفعله GPT-5 والنماذج المستقبلية، فمن المرجح أنها ستكون أكثر قدرة بكثير مما يمكن للأطفال الوصول إليه اليوم".
أدى حرمان وكيل LLM (GPT-4) من الوصول إلى وصف مكافحة التطرف العنيف ذي الصلة إلى تقليل معدل نجاحه من 87 بالمائة إلى سبعة بالمائة فقط. ومع ذلك، قال كانغ إنه لا يعتقد أن الحد من إتاحة المعلومات الأمنية للعامة هو وسيلة فعالة للدفاع ضد عملاء LLM.
وأوضح قائلاً: "أنا شخصياً لا أعتقد أن الأمن من خلال الغموض يمكن الدفاع عنه، ويبدو أن هذه هي الحكمة السائدة بين الباحثين الأمنيين". "آمل أن يشجع عملي، وغيره من الأعمال، على اتخاذ تدابير أمنية استباقية مثل تحديث الحزم بانتظام عند ظهور التصحيحات الأمنية."
فشل وكيل LLM في استغلال اثنتين فقط من العينات الـ 15: Iris XSS (CVE-2024-25640) وHertzbeat RCE (CVE-2023-51653). الأول، وفقًا للصحيفة، أثبت أنه يمثل مشكلة نظرًا لأن تطبيق الويب Iris يحتوي على واجهة يصعب للغاية على الوكيل التنقل فيها. ويحتوي الأخير على وصف تفصيلي باللغة الصينية، والذي من المفترض أنه أربك وكيل LLM الذي يعمل بموجب مطالبة باللغة الإنجليزية.
حدثت إحدى عشرة نقطة ضعف تم اختبارها بعد توقف تدريب GPT-4، مما يعني أن النموذج لم يتعلم أي بيانات عنها أثناء التدريب. وكان معدل نجاحها في مكافحة التطرف العنيف أقل قليلاً بنسبة 82%، أو 9 من أصل 11.
أما بالنسبة لطبيعة الأخطاء، فقد تم إدراجها جميعًا في الورقة أعلاه، وقد قيل لنا: "تشمل نقاط الضعف لدينا نقاط ضعف مواقع الويب، ونقاط ضعف الحاويات، وحزم بايثون الضعيفة. يتم تصنيف أكثر من نصفها على أنها خطيرة "عالية" أو "حرجة" حسب وصف مكافحة التطرف العنيف.
قام كانغ وزملاؤه بحساب تكلفة تنفيذ هجوم عميل LLM ناجح وتوصلوا إلى مبلغ 8.80 دولارًا لكل استغلال، وهو ما يقولون إنه أقل بحوالي 2.8 مرة من تكلفة استئجار مختبر اختراق بشري لمدة 30 دقيقة.
يتكون رمز الوكيل، وفقًا لكانغ، من 91 سطرًا فقط من التعليمات البرمجية و1,056 رمزًا مميزًا للموجه. طلبت شركة OpenAI، الشركة المصنعة لـGPT-4، من الباحثين عدم نشر مطالباتهم للعامة، على الرغم من أنهم يقولون إنهم سيقدمونها عند الطلب.
ولم تستجب OpenAI على الفور لطلب التعليق. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
