الميزات أثناء الاندفاع لفهم منتجات الذكاء الاصطناعي وبنائها وشحنها، يتم حث المطورين وعلماء البيانات على الاهتمام بالأمن وعدم الوقوع فريسة لهجمات سلسلة التوريد.
هناك عدد لا يحصى من النماذج والمكتبات والخوارزميات والأدوات والحزم المعدة مسبقًا للعب بها، والتقدم لا هوادة فيه. وربما يكون مخرجات هذه الأنظمة قصة أخرى، على الرغم من أنه لا يمكن إنكار أن هناك دائمًا شيئًا جديدًا للعب به، على الأقل.
بغض النظر عن كل هذه الإثارة والضجيج والفضول والخوف من تفويت الفرصة، فلا يمكن نسيان الأمان. إذا لم تكن هذه صدمة لك، فهذا رائع. لكن التذكير مفيد هنا، خاصة وأن تكنولوجيا التعلم الآلي تميل إلى أن يتم تجميعها من قبل العلماء بدلاً من المهندسين، على الأقل في مرحلة التطوير، وبينما يعرف هؤلاء الأشخاص طريقهم حول أشياء مثل بنيات الشبكات العصبية، والتكميم، وما يليها. تقنيات التدريب العامة، أمن المعلومات قد لا تكون موطن قوتهم.
لا يختلف تجميع مشروع الذكاء الاصطناعي كثيرًا عن إنشاء أي برنامج آخر. ستقوم عادةً بلصق المكتبات والحزم وبيانات التدريب والنماذج وكود المصدر المخصص معًا لتنفيذ مهام الاستدلال. يمكن أن تحتوي مكونات التعليمات البرمجية المتوفرة من المستودعات العامة على أبواب خلفية مخفية أو أدوات لتسريب البيانات، ويمكن أن يتم تسميم النماذج ومجموعات البيانات المعدة مسبقًا لجعل التطبيقات تتصرف بشكل غير مناسب بشكل غير متوقع.
في الواقع، يمكن أن تحتوي بعض النماذج على برامج ضارة أعدم إذا لم يتم إلغاء تسلسل محتوياتها بشكل آمن. أمان المكونات الإضافية ChatGPT له أيضًا تأتي في إطار فحص دقيق.
بمعنى آخر، يمكن لهجمات سلسلة التوريد التي رأيناها في عالم تطوير البرمجيات أن تحدث في أرض الذكاء الاصطناعي. يمكن أن تؤدي الحزم السيئة إلى اختراق محطات عمل المطورين، مما يؤدي إلى اختراقات ضارة لشبكات الشركة، وقد يؤدي التلاعب بالنماذج ومجموعات بيانات التدريب إلى قيام التطبيقات بتصنيف الأشياء بشكل خاطئ، والإساءة إلى المستخدمين، وما إلى ذلك. يمكن للمكتبات والنماذج ذات الأبواب الخلفية أو المليئة بالبرامج الضارة، إذا تم دمجها في البرامج المشحونة، أن تترك مستخدمي هذه التطبيقات عرضة للهجوم أيضًا.
سوف يقومون بحل مسألة رياضية مثيرة للاهتمام وبعد ذلك سوف يقومون بنشرها وهذا كل شيء. لم يتم اختباره بالقلم، ولا يوجد فريق أحمر للذكاء الاصطناعي
واستجابة لذلك، تظهر شركات الأمن السيبراني والذكاء الاصطناعي الناشئة خصيصًا لمعالجة هذا التهديد؛ لا شك أن اللاعبين المخضرمين يتطلعون إلى ذلك أيضًا، أو هذا ما نأمله. يجب أن تخضع مشاريع التعلم الآلي للتدقيق والتفتيش، واختبارها من حيث الأمان، وتقييمها من حيث السلامة.
"لقد تطور [الذكاء الاصطناعي] خارج الأوساط الأكاديمية. لقد كانت إلى حد كبير مشاريع بحثية في الجامعة أو كانت عبارة عن مشاريع صغيرة لتطوير البرمجيات تم نسجها إلى حد كبير من قبل الأكاديميين أو الشركات الكبرى، وهم لا يتمتعون بالأمان الداخلي، "توم بونر، نائب الرئيس للأبحاث في HiddenLayer، أحد وقال مثل هذه الشركات الناشئة التي تركز على الأمن السجل.
"سيقومون بحل مسألة رياضية مثيرة للاهتمام باستخدام البرمجيات ثم يقومون بنشرها وهذا كل شيء. لم يتم اختباره بالقلم، ولا يوجد فريق أحمر للذكاء الاصطناعي، أو تقييمات للمخاطر، أو دورة حياة تطوير آمنة. لقد انطلق الذكاء الاصطناعي والتعلم الآلي بشكل مفاجئ ويتطلع الجميع إلى الدخول فيه. إنهم جميعًا يذهبون ويلتقطون جميع حزم البرامج الشائعة التي نشأت من الأوساط الأكاديمية، وها هي مليئة بنقاط الضعف والثغرات.
تحتوي سلسلة توريد الذكاء الاصطناعي على العديد من نقاط الدخول للمجرمين، الذين يمكنهم استخدام أشياء مثل typosquatting لخداع المطورين لاستخدام نسخ ضارة من المكتبات الشرعية، مما يسمح للمحتالين بسرقة البيانات الحساسة وبيانات اعتماد الشركة، واختطاف الخوادم التي تقوم بتشغيل التعليمات البرمجية، والمزيد، كما يُقال. ويجب تطبيق دفاعات سلسلة توريد البرمجيات على تطوير أنظمة التعلم الآلي أيضًا.
قال دان ماكينيرني، الباحث الرئيسي في مجال أمن الذكاء الاصطناعي في شركة Protect AI: "إذا فكرت في مخطط دائري لكيفية تعرضك للاختراق بمجرد فتح قسم للذكاء الاصطناعي في شركتك أو مؤسستك". السجل"جزء صغير من هذه الفطيرة سيكون عبارة عن هجمات إدخال نموذجية، وهو ما يتحدث عنه الجميع. وسوف يقوم جزء كبير بمهاجمة سلسلة التوريد – الأدوات التي تستخدمها لبناء النموذج نفسه.
هجمات الإدخال يجري طرق مثيرة للاهتمام يمكن للأشخاص كسر برامج الذكاء الاصطناعي باستخدامها.
لتوضيح الخطر المحتمل، HiddenLayer في الأسبوع الآخر أبرزت ما تعتقده بقوة هو مشكلة أمنية تتعلق بخدمة عبر الإنترنت تقدمها Hugging Face والتي تحول النماذج بتنسيق Pickle غير الآمن إلى تنسيق أكثر أمانًا الأمانات، تم تطويره أيضًا بواسطة Hugging Face.
يمكن أن تحتوي نماذج Pickle على برامج ضارة ورموز عشوائية أخرى يمكن تنفيذها بصمت وبشكل غير متوقع عند إلغاء التسلسل، وهو أمر ليس رائعًا. تم إنشاء أدوات الأمان كبديل أكثر أمانًا: يجب ألا تؤدي النماذج التي تستخدم هذا التنسيق إلى تشغيل تعليمات برمجية مضمنة عند إلغاء تسلسلها. بالنسبة لأولئك الذين لا يعرفون، تستضيف Hugging Face مئات الآلاف من نماذج الشبكات العصبية ومجموعات البيانات وأجزاء من الأكواد البرمجية التي يمكن لمطوري البرامج تنزيلها واستخدامها ببضع نقرات أو أوامر فقط.
يعمل محول Safetensors على البنية الأساسية Hugging Face، ويمكن توجيهه لتحويل نموذج PyTorch Pickle المستضاف بواسطة Hugging Face إلى نسخة بتنسيق Safetensors. لكن عملية التحويل عبر الإنترنت نفسها معرضة لتنفيذ تعليمات برمجية عشوائية، وفقًا لـ HiddenLayer.
وقال باحثو HiddenLayer إنهم وجدوا أنهم يستطيعون تقديم طلب تحويل لنموذج Pickle الخبيث الذي يحتوي على تعليمات برمجية عشوائية، وخلال عملية التحويل، سيتم تنفيذ هذا الرمز على أنظمة Hugging Face، مما يسمح لشخص ما ببدء العبث مع روبوت التحويل ومستخدميه. إذا قام أحد المستخدمين بتحويل نموذج ضار، فيمكن سحب رمز Hugging Face المميز الخاص به عن طريق الكود المخفي، و"يمكننا في الواقع سرقة رمز Hugging Face المميز الخاص به، وتسوية مستودعه، وعرض جميع المستودعات الخاصة ومجموعات البيانات والنماذج التي يمتلكها هذا المستخدم". "الوصول إلى"، قال HiddenLayer.
بالإضافة إلى ذلك، قيل لنا أنه يمكن الوصول إلى بيانات اعتماد روبوت المحول وتسريبها عن طريق تعليمات برمجية مخبأة في نموذج Pickle، مما يسمح لشخص ما بالتنكر في صورة الروبوت وفتح طلبات السحب لإجراء تغييرات على مستودعات أخرى. قد تؤدي هذه التغييرات إلى تقديم محتوى ضار إذا تم قبولها. لقد طلبنا من Hugging Face الرد على نتائج HiddenLayer.
"ومن المفارقات أن خدمة التحويل للتحويل إلى Safetensors كانت في حد ذاتها غير آمنة على الإطلاق،" أخبرنا بونر من HiddenLayer. "نظرًا لمستوى الوصول الذي يتمتع به روبوت التحويل إلى المستودعات، كان من الممكن بالفعل سرقة الرمز المميز الذي يستخدمه لإرسال التغييرات من خلال مستودعات أخرى.
"لذا، من الناحية النظرية، كان بإمكان المهاجم إرسال أي تغيير إلى أي مستودع وجعله يبدو وكأنه جاء من Hugging Face، وكان من الممكن أن يخدعهم التحديث الأمني ويدفعهم إلى قبوله. كان من الممكن أن يكون لدى الناس نماذج مخفية أو نماذج غير آمنة في اتفاقيات إعادة الشراء الخاصة بهم ولن يعرفوا ذلك.
هذا أكثر من مجرد تهديد نظري: متجر Devops JFrog قال وجدت كود خبيث مختبئ في 100 نموذج مستضاف على Hugging Face.
هناك في الواقع طرق مختلفة لإخفاء الحمولات الضارة من التعليمات البرمجية في النماذج التي - اعتمادا على تنسيق الملف - يتم تنفيذها عندما يتم تحميل الشبكات العصبية وتحليلها، مما يسمح للأوغاد بالوصول إلى أجهزة الأشخاص. وأشار JFrog إلى أن نماذج PyTorch وTensorflow Keras "تشكل أعلى خطر محتمل لتنفيذ تعليمات برمجية ضارة لأنها أنواع نماذج شائعة مع تقنيات تنفيذ تعليمات برمجية معروفة تم نشرها".
توصيات غير آمنة
وحذر بونر من أن المبرمجين الذين يستخدمون مساعدي اقتراح التعليمات البرمجية لتطوير التطبيقات يجب أن يكونوا حذرين أيضًا، وإلا فقد ينتهي بهم الأمر إلى دمج تعليمات برمجية غير آمنة. على سبيل المثال، تم تدريب GitHub Copilot على مستودعات مفتوحة المصدر، ومن المحتمل أن يكون ما لا يقل عن 350,000 منها عرضة للاختراق. مشكلة أمنية قديمة التي تنطوي على أرشيفات بايثون والقطران.
بيثون طرفيلي الوحدة، كما يوحي اسمها، تساعد البرامج على فك ضغط أرشيفات القطران. من الممكن إنشاء ملف .tar بحيث أنه عندما يتم استخراج ملف من الأرشيف بواسطة وحدة Python، فإنه سيحاول الكتابة فوق ملف عشوائي على نظام الملفات الخاص بالمستخدم. يمكن استغلال ذلك في سلة المهملات واستبدال البرامج النصية والتسبب في أضرار أخرى.
تم اكتشاف الخلل في عام 2007 و أبرزت مرة أخرى في عام 2022، مما دفع الناس إلى البدء في ترقيع المشاريع لتجنب هذا الاستغلال. ربما لم تصل هذه التحديثات الأمنية إلى مجموعات البيانات المستخدمة لتدريب نماذج اللغات الكبيرة على البرمجة، حسبما قال بونر. "لذا، إذا طلبت من أحد الحاصلين على شهادة الماجستير في القانون أن يذهب ويفك ضغط ملف tar الآن، فمن المحتمل أن يعيد لك الكود الضعيف [القديم]".
وحث بونر مجتمع الذكاء الاصطناعي على البدء في تنفيذ ممارسات أمان سلسلة التوريد، مثل مطالبة المطورين بإثبات هويتهم رقميًا عند إجراء تغييرات على مستودعات التعليمات البرمجية العامة، الأمر الذي من شأنه طمأنة الناس بأن الإصدارات الجديدة من الأشياء تم إنتاجها بواسطة مطورين شرعيين. ولم تكن تغييرات ضارة. قد يتطلب ذلك من المطورين تأمين كل ما يستخدمونه للمصادقة حتى لا يتمكن شخص آخر من التنكر باسمهم.
ويجب على جميع المطورين، الكبار والصغار، إجراء تقييمات أمنية وفحص الأدوات التي يستخدمونها واختبار برامجهم قبل نشرها.
إن محاولة تعزيز الأمن في سلسلة توريد الذكاء الاصطناعي أمر صعب، ومع إنشاء العديد من الأدوات والنماذج وإصدارها، فمن الصعب مواكبتها.
وشدد ماكينيرني من شركة Protect AI على أن "هذا هو الوضع الذي نحن فيه الآن. هناك الكثير من الفاكهة المتدلية الموجودة في كل مكان. ليس هناك ما يكفي من القوة البشرية للنظر في كل شيء لأن كل شيء يتحرك بسرعة كبيرة. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
