إذا كنت تعتقد أن مشكلة أمان سلسلة توريد البرامج صعبة بما فيه الكفاية اليوم، فاربط حزام الأمان. إن النمو الهائل في استخدام الذكاء الاصطناعي (AI) على وشك أن يجعل التعامل مع مشكلات سلسلة التوريد هذه أكثر صعوبة في السنوات القادمة.
إن المطورين ومحترفي أمن التطبيقات ومحترفي DevSecOps مدعوون لإصلاح العيوب ذات المخاطر العالية الكامنة في ما يبدو أنه مجموعات لا نهاية لها من المكونات مفتوحة المصدر والمكونات الخاصة المدمجة في تطبيقاتهم والبنية التحتية السحابية. لكنها معركة مستمرة تحاول حتى فهم المكونات الموجودة فيها، والمكونات المعرضة للخطر، وأي العيوب تعرضها للخطر أكثر. من الواضح أنهم يكافحون بالفعل لإدارة هذه التبعيات بشكل عقلاني في برامجهم كما هي.
ما سيصبح أكثر صعوبة هو التأثير المضاعف الذي سيضيفه الذكاء الاصطناعي إلى الموقف.
نماذج الذكاء الاصطناعي كتعليمات برمجية ذاتية التنفيذ
إن الأدوات التي تدعم الذكاء الاصطناعي والتعلم الآلي (ML) هي برمجيات مثل أي نوع آخر من التطبيقات - ومن المرجح أن تعاني شفرتها من عدم أمان سلسلة التوريد. ومع ذلك، فإنهم يضيفون متغير أصول آخر إلى المزيج الذي يزيد بشكل كبير من سطح الهجوم لسلسلة توريد برامج الذكاء الاصطناعي: نماذج الذكاء الاصطناعي/تعلم الآلة.
يوضح داريان دهغانبيشه، المؤسس المشارك لشركة Protect AI: "ما يفصل تطبيقات الذكاء الاصطناعي عن أي شكل آخر من أشكال البرمجيات هو أنها [تعتمد] بطريقة أو بأخرى على ما يسمى نموذج التعلم الآلي". "ونتيجة لذلك، أصبح نموذج التعلم الآلي هذا في حد ذاته أحد الأصول في البنية الأساسية لديك. عندما يكون لديك أصل في بنيتك الأساسية، فإنك تحتاج إلى القدرة على فحص بيئتك وتحديد مكانها وما تحتويه ومن لديه الأذونات وماذا يفعلون. وإذا لم تتمكن من فعل ذلك مع النماذج اليوم، فلن تتمكن من إدارتها.
توفر نماذج الذكاء الاصطناعي/تعلم الآلة الأساس لقدرة نظام الذكاء الاصطناعي على التعرف على الأنماط، أو القيام بالتنبؤات، أو اتخاذ القرارات، أو إطلاق الإجراءات، أو إنشاء المحتوى. ولكن الحقيقة هي أن معظم المؤسسات لا تعرف حتى كيفية البدء في اكتساب رؤية لجميع نماذج الذكاء الاصطناعي المضمنة في برامجها. يتم إنشاء النماذج والبنية التحتية المحيطة بها بشكل مختلف عن مكونات البرامج الأخرى، ولم يتم تصميم أدوات الأمان والبرمجيات التقليدية للبحث عن أو فهم كيفية عمل نماذج الذكاء الاصطناعي أو مدى عيوبها. وهذا ما يجعلها فريدة من نوعها، كما يقول دهغانبيشه، الذي يوضح أنها في الأساس عبارة عن أجزاء مخفية من التعليمات البرمجية ذاتية التنفيذ.
"النموذج، حسب تصميمه، هو جزء من التعليمات البرمجية ذاتية التنفيذ. يقول دهغانبيشه: “إنها تتمتع بقدر معين من القوة”. "إذا أخبرتك أن لديك أصولًا في جميع أنحاء البنية التحتية الخاصة بك والتي لا يمكنك رؤيتها، ولا يمكنك تحديدها، ولا تعرف ما تحتويه، ولا تعرف ما هو الرمز، ويتم تنفيذها ذاتيًا ولديك مكالمات خارجية، وهذا يبدو بشكل مثير للريبة وكأنه فيروس أذونات، أليس كذلك؟
مراقب مبكر لحالات عدم الأمان في الذكاء الاصطناعي
كان التغلب على هذه المشكلة هو الدافع الكبير وراءه ومؤسسيه المشاركين في إطلاق شركة Protect AI في عام 2022، وهي واحدة من سلسلة من الشركات الجديدة التي نشأت لمعالجة مشكلات أمن النماذج ونسب البيانات التي تلوح في الأفق في عصر الذكاء الاصطناعي. رأى دهغانبيشة والمؤسس المشارك إيان سوانسون لمحة عن المستقبل عندما عملوا معًا في السابق لبناء حلول الذكاء الاصطناعي/التعلم الآلي في AWS. كان دهغانبيشه رائدًا عالميًا لمهندسي حلول الذكاء الاصطناعي/التعلم الآلي.
يقول: "خلال الوقت الذي قضيناه معًا في AWS، رأينا العملاء يبنون أنظمة الذكاء الاصطناعي/التعلم الآلي بوتيرة سريعة بشكل لا يصدق، قبل وقت طويل من استحواذ الذكاء الاصطناعي التوليدي على قلوب وعقول الجميع بدءًا من كبار المسؤولين وحتى الكونجرس"، موضحًا أن لقد عمل مع مجموعة من المهندسين وخبراء تطوير الأعمال، وكذلك على نطاق واسع مع العملاء. "وعندها أدركنا كيف وأين توجد الثغرات الأمنية الفريدة لأنظمة الذكاء الاصطناعي/التعلم الآلي."
لقد لاحظوا ثلاثة أشياء أساسية حول الذكاء الاصطناعي/التعلم الآلي والتي كان لها آثار مذهلة على مستقبل الأمن السيبراني، كما يقول. الأول هو أن وتيرة التبني كانت سريعة للغاية لدرجة أنهم رأوا بشكل مباشر مدى سرعة ظهور كيانات تكنولوجيا المعلومات الظلية حول تطوير الذكاء الاصطناعي واستخدام الأعمال التي أفلتت من نوع الحوكمة التي تشرف على أي نوع آخر من التطوير في المؤسسة.
والثاني هو أن غالبية الأدوات التي تم استخدامها - سواء كانت تجارية أو مفتوحة المصدر - تم إنشاؤها من قبل علماء البيانات ومهندسي تعلم الآلة الصاعدين الذين لم يتم تدريبهم مطلقًا على المفاهيم الأمنية.
ويقول: "ونتيجة لذلك، أصبحت لديك أدوات مفيدة جدًا، وشعبية جدًا، وموزعة جدًا، ومعتمدة على نطاق واسع، ولم يتم تصميمها وفقًا للعقلية الأمنية أولاً".
أنظمة الذكاء الاصطناعي لم يتم تصميمها على أساس "الأمن أولاً"
ونتيجة لذلك، يفتقر العديد من أنظمة الذكاء الاصطناعي/تعلم الآلة والأدوات المشتركة إلى أساسيات المصادقة والترخيص، وغالبًا ما تمنح قدرًا كبيرًا من حق الوصول للقراءة والكتابة في أنظمة الملفات، كما يوضح. إلى جانب تكوينات الشبكة غير الآمنة ثم تلك المشكلات المتأصلة في النماذج، تبدأ المؤسسات في التورط في مشكلات أمنية متتالية في هذه الأنظمة المعقدة للغاية والتي يصعب فهمها.
ويقول: "لقد جعلنا ذلك ندرك أن الأدوات والعمليات والأطر الأمنية الحالية - بغض النظر عن مدى التحول الذي تركته، كانت تفتقد السياق الذي سيحتاجه مهندسو التعلم الآلي وعلماء البيانات ومنشئو الذكاء الاصطناعي".
أخيرًا، كانت الملاحظة الرئيسية الثالثة التي أبداها هو وسوانسون خلال أيام AWS تلك هي أن خروقات الذكاء الاصطناعي لم تكن قادمة. لقد وصلوا بالفعل.
ويقول: "لقد رأينا عملاء لديهم خروقات لمجموعة متنوعة من أنظمة الذكاء الاصطناعي/التعلم الآلي كان ينبغي اكتشافها ولكن لم يتم اكتشافها". "ما أخبرنا به ذلك هو أن المجموعة والعمليات، بالإضافة إلى عناصر إدارة الاستجابة للحوادث، لم تكن مصممة خصيصًا للطريقة التي تم بها تصميم الذكاء الاصطناعي/التعلم الآلي. لقد أصبحت هذه المشكلة أسوأ بكثير مع اكتساب الذكاء الاصطناعي التوليدي زخمًا.
نماذج الذكاء الاصطناعي مشتركة على نطاق واسع
بدأ دهغانبيشة وسوانسون أيضًا في رؤية كيف كانت النماذج وبيانات التدريب تنشئ سلسلة توريد جديدة وفريدة من نوعها للذكاء الاصطناعي والتي يجب أن تؤخذ بعين الاعتبار بنفس القدر من الجدية مثل بقية سلسلة توريد البرمجيات. تمامًا كما هو الحال مع بقية تطوير البرامج الحديثة والابتكار السحابي الأصلي، قام علماء البيانات وخبراء الذكاء الاصطناعي بتعزيز التقدم في أنظمة الذكاء الاصطناعي/التعلم الآلي من خلال الاستخدام الواسع النطاق للمصدر المفتوح والمكونات المشتركة - بما في ذلك نماذج الذكاء الاصطناعي والبيانات المستخدمة لتدريبهم. يتم إنشاء العديد من أنظمة الذكاء الاصطناعي، سواء كانت أكاديمية أو تجارية، باستخدام نموذج شخص آخر. وكما هو الحال مع بقية التطوير الحديث، فإن الانفجار في تطوير الذكاء الاصطناعي يستمر في دفع التدفق اليومي الهائل لأصول النماذج الجديدة المنتشرة عبر سلسلة التوريد، مما يعني أن تتبعها يزداد صعوبة.
خذ معانقة الوجه، على سبيل المثال. يعد هذا واحدًا من المستودعات الأكثر استخدامًا على نطاق واسع لنماذج الذكاء الاصطناعي مفتوحة المصدر عبر الإنترنت اليوم - ويقول مؤسسوها إنهم يريدون أن يصبحوا GitHub للذكاء الاصطناعي. وبالعودة إلى نوفمبر 2022، شارك مستخدمو Hugging Face 93,501 نموذجًا مختلفًا مع المجتمع. وفي تشرين الثاني (نوفمبر) التالي، وصل عدد النماذج إلى 414,695 نموذجًا. والآن، بعد ثلاثة أشهر فقط، ارتفع هذا العدد إلى 527,244. وهذه قضية يتزايد نطاقها يوما بعد يوم. ويقول دهغانبيشه إن ذلك سيزيد من مشكلة أمن سلسلة توريد البرمجيات.
A تحليل حديث من خلال شركته، وجدت آلاف النماذج التي تمت مشاركتها بشكل علني على Hugging Face يمكنها تنفيذ تعليمات برمجية عشوائية عند تحميل النموذج أو الاستدلال. بينما تقوم Hugging Face ببعض عمليات المسح الأساسية لمستودعها بحثًا عن المشكلات الأمنية، يتم تجاهل العديد من النماذج على طول الطريق - على الأقل نصف النماذج عالية المخاطر التي تم اكتشافها في البحث لم تعتبر غير آمنة من قبل النظام الأساسي، وتوضح Hugging Face ذلك في الوثائق أن تحديد سلامة النموذج هو في النهاية مسؤولية مستخدميه.
خطوات التعامل مع سلسلة التوريد الخاصة بالذكاء الاصطناعي
يعتقد دهغانبيشه أن العمود الفقري للأمن السيبراني في عصر الذكاء الاصطناعي سيبدأ أولاً من خلال خلق فهم منظم لنسب الذكاء الاصطناعي. يتضمن ذلك نسب النموذج ونسب البيانات، والتي تمثل بشكل أساسي أصل وتاريخ هذه الأصول، وكيف تم تغييرها، والبيانات التعريفية المرتبطة بها.
"هذا هو المكان الأول للبدء. لا يمكنك إصلاح ما لا يمكنك رؤيته وما لا يمكنك معرفته وما لا يمكنك تحديده، أليس كذلك؟ هو يقول.
في هذه الأثناء، على المستوى التشغيلي اليومي، يعتقد دهغانبيشه أن المؤسسات بحاجة إلى بناء قدرات لفحص نماذجها، والبحث عن العيوب التي يمكن أن تؤثر ليس فقط على تصلب النظام ولكن أيضًا على سلامة مخرجاته. يتضمن ذلك مشكلات مثل تحيز الذكاء الاصطناعي والأعطال التي يمكن أن تسبب ضررًا جسديًا في العالم الحقيقي، على سبيل المثال، اصطدام سيارة ذاتية القيادة بأحد المشاة.
يقول: "أول شيء هو أنك تحتاج إلى المسح". "الشيء الثاني هو أنك بحاجة إلى فهم عمليات الفحص تلك. والثالث هو أنه بمجرد وضع علامة على شيء ما، فإنك تحتاج بشكل أساسي إلى إيقاف تنشيط هذا النموذج. أنت بحاجة إلى تقييد وكالتها ".
الضغط من أجل MLSecOps
MLSecOps هي حركة محايدة للبائعين تعكس حركة DevSecOps في عالم البرمجيات التقليدية.
"على غرار الانتقال من DevOps إلى DevSecOps، يتعين عليك القيام بشيئين في وقت واحد. يقول دهغانبيشه: "أول شيء عليك القيام به هو توعية الممارسين بأن الأمن يمثل تحديًا، وأنه مسؤولية مشتركة". "الشيء الثاني الذي عليك القيام به هو توفير السياق ووضع الأمان في الأدوات التي تبقي علماء البيانات، ومهندسي التعلم الآلي، ومنشئي الذكاء الاصطناعي على حافة النزيف والابتكار المستمر، مع السماح للمخاوف الأمنية بالاختفاء في الخلفية. ".
بالإضافة إلى ذلك، يقول إنه سيتعين على المؤسسات البدء في إضافة سياسات الحوكمة والمخاطر والامتثال وإمكانات الإنفاذ وإجراءات الاستجابة للحوادث التي تساعد في التحكم في الإجراءات والعمليات التي تحدث عند اكتشاف حالات عدم الأمان. كما هو الحال مع نظام DevSecOps البيئي القوي، فهذا يعني أن MLSecOps ستحتاج إلى مشاركة قوية من أصحاب المصلحة في الأعمال على طول الطريق إلى أعلى السلم التنفيذي.
والخبر السار هو أن أمان الذكاء الاصطناعي/التعلم الآلي يستفيد من شيء واحد لم يحصل عليه أي ابتكار تكنولوجي سريع آخر مباشرة - وهو التفويضات التنظيمية مباشرة من البوابة.
يقول دهغانبيشه: "فكر في أي تحول تكنولوجي آخر". "اذكر إحدى المرات التي قال فيها أحد الهيئات التنظيمية الفيدرالية أو حتى الهيئات التنظيمية في الولاية هذا الأمر في وقت مبكر، "مهلًا، مهلًا، مهلًا، عليك أن تخبرني بكل ما هو موجود فيه". عليك أن تعطي الأولوية للمعرفة بهذا النظام. عليك أن تعطي الأولوية لفاتورة المواد. لا يوجد أي شيء."
وهذا يعني أن العديد من قادة الأمن من المرجح أن يحصلوا على موافقة لبناء قدرات أمان الذكاء الاصطناعي في وقت مبكر جدًا في دورة حياة الابتكار. ومن أوضح العلامات على هذا الدعم هو التحول السريع لرعاية وظائف وظيفية جديدة في المنظمات.
"إن الاختلاف الأكبر الذي جلبته العقلية التنظيمية إلى الطاولة هو أنه في يناير من عام 2023، كان مفهوم مدير أمن الذكاء الاصطناعي جديدًا ولم يكن موجودًا. لكن بحلول شهر يونيو/حزيران، بدأت ترى هذه الأدوار. "الآن هم في كل مكان - ويتم تمويلهم."
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
