أعلنت Microsoft عن العديد من الإمكانات الجديدة في Azure AI Studio والتي تقول الشركة إنها يجب أن تساعد المطورين على إنشاء تطبيقات ذكاء اصطناعي أكثر موثوقية ومرونة ضد التلاعب بالنماذج الضارة والتهديدات الناشئة الأخرى.
في منشور بالمدونة بتاريخ 29 مارس، أشارت سارة بيرد، كبيرة مسؤولي منتجات الذكاء الاصطناعي المسؤول في Microsoft، إلى المخاوف المتزايدة بشأن استخدام الجهات التهديدية هجمات الحقن الفوري لجعل أنظمة الذكاء الاصطناعي تتصرف بطرق خطيرة وغير متوقعة كعامل أساسي للأدوات الجديدة.
"المنظمات أيضا تشعر بالقلق إزاء الجودة والموثوقية " قال الطائر. "إنهم يريدون التأكد من أن أنظمة الذكاء الاصطناعي الخاصة بهم لا تنتج أخطاء أو تضيف معلومات غير مثبتة في مصادر بيانات التطبيق، مما قد يؤدي إلى تآكل ثقة المستخدم."
استوديو أزور للذكاء الاصطناعي عبارة عن منصة مستضافة يمكن للمؤسسات استخدامها لإنشاء مساعدين مخصصين للذكاء الاصطناعي، ومساعدين للطيارين، وروبوتات، وأدوات بحث، وتطبيقات أخرى، ترتكز على بياناتهم الخاصة. تم الإعلان عن المنصة في نوفمبر 2023، وتستضيف نماذج التعلم الآلي من Microsoft وأيضًا نماذج من عدة مصادر أخرى بما في ذلك OpenAI. ميتا، معانقة الوجه ونفيديا. فهو يسمح للمطورين بدمج القدرات متعددة الوسائط وميزات الذكاء الاصطناعي المسؤولة بسرعة في نماذجهم.
وسارع لاعبون رئيسيون آخرون مثل أمازون وجوجل إلى السوق بعروض مماثلة خلال العام الماضي للاستفادة من الاهتمام المتزايد بتقنيات الذكاء الاصطناعي في جميع أنحاء العالم. وجدت دراسة حديثة بتكليف من IBM ذلك 42 ٪ من المنظمات مع أكثر من 1,000 موظف يستخدمون الذكاء الاصطناعي بنشاط بطريقة ما، ويخطط العديد منهم لزيادة وتسريع الاستثمارات في التكنولوجيا على مدى السنوات القليلة المقبلة. وليس كلهم كانوا يقولون ذلك مسبقًا حول استخدامهم للذكاء الاصطناعي.
الحماية ضد الهندسة السريعة
الإمكانات الخمس الجديدة التي أضافتها Microsoft - أو ستضيفها قريبًا - إلى Azure AI Studio هي: Prompt Shields؛ كشف التأريض؛ رسائل نظام السلامة؛ تقييمات السلامة؛ ومراقبة المخاطر والسلامة. تم تصميم الميزات لمعالجة بعض التحديات المهمة التي اكتشفها الباحثون مؤخرًا - ويستمرون في الكشف عنها بشكل روتيني - فيما يتعلق باستخدام نماذج اللغة الكبيرة وأدوات الذكاء الاصطناعي التوليدية.
الدروع الفورية على سبيل المثال، التخفيف الذي قدمته Microsoft لما يُعرف بالهجمات الفورية غير المباشرة وعمليات كسر الحماية. تعتمد هذه الميزة على عمليات التخفيف الحالية في Azure AI Studio ضد مخاطر كسر الحماية. في هجمات هندسية سريعة، يستخدم الخصوم المطالبات التي تبدو غير ضارة وغير ضارة بشكل علني لمحاولة توجيه نموذج الذكاء الاصطناعي نحو توليد استجابات ضارة وغير مرغوب فيها. تعد الهندسة السريعة من بين أخطر الهجمات في فئة متنامية من الهجمات التي تحاول و نماذج الهروب من السجن AI أو حملهم على التصرف بطريقة لا تتفق مع أي مرشحات وقيود قد يكون المطورون قد قاموا بدمجها فيها.
لقد أظهر الباحثون مؤخرًا كيف يمكن للخصوم الانخراط في هجمات هندسية سريعة للحصول على نماذج ذكاء اصطناعي توليدية تسرب بيانات التدريب الخاصة بهم، لنشر المعلومات الشخصية، توليد معلومات مضللة والمحتوى الذي قد يكون ضارًا، مثل تعليمات حول كيفية توصيل الأسلاك بالسيارة.
باستخدام Prompt Shields، يمكن للمطورين دمج الإمكانات في نماذجهم التي تساعد على التمييز بين مدخلات النظام الصالحة والتي قد تكون غير جديرة بالثقة؛ قم بتعيين المحددات للمساعدة في تحديد بداية ونهاية نص الإدخال واستخدام علامات البيانات لوضع علامة على نصوص الإدخال. تتوفر Prompt Shields حاليًا في وضع المعاينة في Azure AI Content Safety وستصبح متاحة بشكل عام قريبًا، وفقًا لمايكروسوفت.
التخفيف من حدة الهلوسة النموذجية والمحتوى الضار
وفي الوقت نفسه، من خلال اكتشاف التأريض، أضافت Microsoft ميزة إلى Azure AI Studio تقول إنها يمكن أن تساعد المطورين على تقليل مخاطر "الهلوسة" في نماذج الذكاء الاصطناعي الخاصة بهم. الهلوسة النموذجية هي ميل من قبل نماذج الذكاء الاصطناعي لتوليد نتائج تبدو معقولة ولكنها مكونة بالكامل ولا تعتمد - أو ترتكز - على بيانات التدريب. يمكن أن تكون هلاوس LLM مشكلة كبيرة إذا أخذت المنظمة المخرجات على أنها واقعية وتتصرف بناءً عليها بطريقة ما. في بيئة تطوير البرمجيات على سبيل المثال، يمكن أن تؤدي هلوسة LLM إلى قيام المطورين بإدخال تعليمات برمجية ضعيفة في تطبيقاتهم.
Azure AI Studio الجديد كشف التأريض تتعلق القدرة بشكل أساسي بالمساعدة في الكشف - بشكل أكثر موثوقية وعلى نطاق أوسع - عن مخرجات الذكاء الاصطناعي التوليدية التي يحتمل أن لا أساس لها. الهدف هو منح المطورين طريقة لاختبار نماذج الذكاء الاصطناعي الخاصة بهم مقابل ما تسميه مايكروسوفت مقاييس التأريض، قبل نشر النموذج في المنتج. تسلط الميزة أيضًا الضوء على العبارات التي يحتمل أن لا أساس لها في مخرجات LLM، حتى يعرف المستخدمون ضرورة التحقق من المخرجات قبل استخدامها. اكتشاف التأريض ليس متاحًا بعد، ولكن من المفترض أن يكون متاحًا في المستقبل القريب، وفقًا لمايكروسوفت.
الجديد إطار رسالة النظام يوفر طريقة للمطورين لتحديد قدرات نموذجهم بوضوح وملفه الشخصي والقيود في بيئتهم المحددة. يمكن للمطورين استخدام القدرة على تحديد تنسيق الإخراج وتقديم أمثلة على السلوك المقصود، بحيث يصبح من الأسهل على المستخدمين اكتشاف الانحرافات عن السلوك المقصود. إنها ميزة جديدة أخرى غير متوفرة بعد ولكن من المفترض أن تكون متاحة قريبًا.
تم الإعلان عن Azure AI Studio حديثًا تقييمات السلامة القدرة وخصائصها مراقبة المخاطر والسلامة الميزة متاحة حاليًا في حالة المعاينة. يمكن للمؤسسات استخدام الأول لتقييم مدى تعرض نموذج LLM الخاص به لهجمات كسر الحماية وإنشاء محتوى غير متوقع. تسمح إمكانية مراقبة المخاطر والسلامة للمطورين باكتشاف مدخلات النماذج التي تنطوي على مشكلات والتي من المحتمل أن تؤدي إلى محتوى مهلوس أو غير متوقع، حتى يتمكنوا من تنفيذ إجراءات التخفيف ضدها.
وقال بيرد من مايكروسوفت: "يمكن للذكاء الاصطناعي التوليدي أن يكون بمثابة قوة مضاعفة لكل قسم وشركة وصناعة". "وفي الوقت نفسه، تقدم النماذج الأساسية تحديات جديدة للأمن والسلامة تتطلب إجراءات تخفيف جديدة وتعلمًا مستمرًا."
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai
