माइक्रोसॉफ्ट ने एज़्योर एआई स्टूडियो में कई नई क्षमताओं की घोषणा की है, कंपनी का कहना है कि इससे डेवलपर्स को जेनरेटिव एआई ऐप बनाने में मदद मिलेगी जो दुर्भावनापूर्ण मॉडल हेरफेर और अन्य उभरते खतरों के खिलाफ अधिक विश्वसनीय और लचीले हैं।
29 मार्च के ब्लॉग पोस्ट में, माइक्रोसॉफ्ट के जिम्मेदार एआई के मुख्य उत्पाद अधिकारी, सारा बर्ड ने खतरे वाले अभिनेताओं के बारे में बढ़ती चिंताओं की ओर इशारा किया। शीघ्र इंजेक्शन हमले नए उपकरणों के लिए प्राथमिक ड्राइविंग कारक के रूप में एआई सिस्टम को खतरनाक और अप्रत्याशित तरीके से व्यवहार करने के लिए प्रेरित करना।
“संगठन भी हैं गुणवत्ता और विश्वसनीयता के बारे में चिंतित," पक्षी ने कहा. "वे यह सुनिश्चित करना चाहते हैं कि उनके एआई सिस्टम त्रुटियां उत्पन्न नहीं कर रहे हैं या ऐसी जानकारी नहीं जोड़ रहे हैं जो एप्लिकेशन के डेटा स्रोतों में प्रमाणित नहीं है, जो उपयोगकर्ता के विश्वास को कम कर सकता है।"
एज़्योर एआई स्टूडियो एक होस्ट किया गया प्लेटफ़ॉर्म है जिसका उपयोग संगठन अपने स्वयं के डेटा के आधार पर कस्टम एआई सहायक, सह-पायलट, बॉट, खोज उपकरण और अन्य एप्लिकेशन बनाने के लिए कर सकते हैं। नवंबर 2023 में घोषित, यह प्लेटफ़ॉर्म Microsoft के मशीन लर्निंग मॉडल और OpenAI सहित कई अन्य स्रोतों से मॉडल भी होस्ट करता है। मेटा, हगिंग फेस और एनवीडिया। यह डेवलपर्स को अपने मॉडलों में मल्टी-मोडल क्षमताओं और जिम्मेदार एआई सुविधाओं को तुरंत एकीकृत करने की अनुमति देता है।
अमेज़ॅन और गूगल जैसे अन्य प्रमुख खिलाड़ी दुनिया भर में एआई प्रौद्योगिकियों में बढ़ती रुचि का फायदा उठाने के लिए पिछले साल इसी तरह की पेशकश के साथ बाजार में उतरे हैं। हाल ही में आईबीएम द्वारा संचालित एक अध्ययन में यह पाया गया 42% संगठन 1,000 से अधिक कर्मचारी पहले से ही किसी न किसी रूप में एआई का सक्रिय रूप से उपयोग कर रहे हैं और उनमें से कई अगले कुछ वर्षों में प्रौद्योगिकी में निवेश बढ़ाने और तेज करने की योजना बना रहे हैं। और उनमें से सभी नहीं आईटी बता रहे थे उनके AI उपयोग के बारे में पहले से ही।
प्रॉम्प्ट इंजीनियरिंग से बचाव
Microsoft ने Azure AI स्टूडियो में जो पाँच नई क्षमताएँ जोड़ी हैं - या जल्द ही जोड़ेगा - वे हैं: प्रॉम्प्ट शील्ड्स; ज़मीनीपन का पता लगाना; सुरक्षा प्रणाली संदेश; सुरक्षा मूल्यांकन; और जोखिम और सुरक्षा निगरानी। सुविधाओं को कुछ महत्वपूर्ण चुनौतियों का समाधान करने के लिए डिज़ाइन किया गया है जिन्हें शोधकर्ताओं ने हाल ही में उजागर किया है - और बड़े भाषा मॉडल और जेनरेटर एआई टूल के उपयोग के संबंध में नियमित आधार पर उजागर करना जारी रखा है।
शीघ्र ढालें उदाहरण के लिए, अप्रत्यक्ष त्वरित हमलों और जेलब्रेक के रूप में जानी जाने वाली चीज़ों के लिए माइक्रोसॉफ्ट का शमन है। यह सुविधा जेलब्रेक जोखिम के खिलाफ Azure AI स्टूडियो में मौजूदा शमन पर आधारित है। में त्वरित इंजीनियरिंग हमले, हानिकारक और अवांछनीय प्रतिक्रियाएँ उत्पन्न करने के लिए एआई मॉडल को चलाने की कोशिश करने के लिए विरोधी ऐसे संकेतों का उपयोग करते हैं जो अहानिकर प्रतीत होते हैं और अत्यधिक हानिकारक नहीं होते हैं। हमलों की बढ़ती श्रेणी में शीघ्र इंजीनियरिंग सबसे खतरनाक है जेलब्रेक एआई मॉडल या उन्हें ऐसे तरीके से व्यवहार करने के लिए कहें जो डेवलपर्स द्वारा उनमें बनाए गए किसी भी फ़िल्टर और बाधाओं के साथ असंगत हो।
शोधकर्ताओं ने हाल ही में दिखाया है कि कैसे विरोधी जेनेरिक एआई मॉडल प्राप्त करने के लिए त्वरित इंजीनियरिंग हमलों में संलग्न हो सकते हैं उनके प्रशिक्षण डेटा को फैलाएं, व्यक्तिगत जानकारी उगलने के लिए, ग़लत सूचना उत्पन्न करना और संभावित रूप से हानिकारक सामग्री, जैसे कार को हॉटवायर करने के निर्देश।
प्रॉम्प्ट शील्ड्स के साथ डेवलपर्स अपने मॉडल में क्षमताओं को एकीकृत कर सकते हैं जो वैध और संभावित रूप से अविश्वसनीय सिस्टम इनपुट के बीच अंतर करने में मदद करते हैं; इनपुट टेक्स्ट की शुरुआत और अंत को चिह्नित करने और इनपुट टेक्स्ट को चिह्नित करने के लिए डेटा मार्किंग का उपयोग करने में सहायता के लिए सीमांकक सेट करें। Microsoft के अनुसार, प्रॉम्प्ट शील्ड्स वर्तमान में Azure AI कंटेंट सेफ्टी में पूर्वावलोकन मोड में उपलब्ध है और जल्द ही आम तौर पर उपलब्ध हो जाएगी।
मॉडल मतिभ्रम और हानिकारक सामग्री के लिए शमन
इस बीच, ग्राउंडेडनेस डिटेक्शन के साथ, माइक्रोसॉफ्ट ने एज़्योर एआई स्टूडियो में एक फीचर जोड़ा है, जिसके बारे में उसका कहना है कि यह डेवलपर्स को उनके एआई मॉडल के "मतिभ्रम" के जोखिम को कम करने में मदद कर सकता है। मॉडल मतिभ्रम एआई मॉडल द्वारा ऐसे परिणाम उत्पन्न करने की प्रवृत्ति है जो प्रशंसनीय लगते हैं लेकिन पूरी तरह से तैयार किए गए हैं और प्रशिक्षण डेटा पर आधारित या आधारित नहीं हैं। यदि कोई संगठन आउटपुट को तथ्यात्मक मानता है और किसी तरह से उस पर कार्य करता है तो एलएलएम मतिभ्रम बेहद समस्याग्रस्त हो सकता है। उदाहरण के लिए, सॉफ़्टवेयर विकास परिवेश में, एलएलएम मतिभ्रम के परिणामस्वरूप डेवलपर्स संभावित रूप से अपने अनुप्रयोगों में कमजोर कोड पेश कर सकते हैं।
Azure AI स्टूडियो नया है जमीनीपन का पता लगाना क्षमता मूल रूप से अधिक विश्वसनीय और बड़े पैमाने पर संभावित रूप से भूमिगत जेनरेटिव एआई आउटपुट का पता लगाने में मदद करने के बारे में है। लक्ष्य डेवलपर्स को मॉडल को उत्पाद में तैनात करने से पहले अपने एआई मॉडल का परीक्षण करने का एक तरीका देना है, जिसे माइक्रोसॉफ्ट ग्राउंडेडनेस मेट्रिक्स कहता है। यह सुविधा एलएलएम आउटपुट में संभावित रूप से निराधार कथनों को भी उजागर करती है, ताकि उपयोगकर्ता इसका उपयोग करने से पहले आउटपुट की तथ्य जांच कर सकें। माइक्रोसॉफ्ट के अनुसार, ग्राउंडेडनेस डिटेक्शन अभी तक उपलब्ध नहीं है, लेकिन निकट भविष्य में उपलब्ध होना चाहिए।
नई सिस्टम संदेश ढांचा डेवलपर्स को अपने मॉडल की क्षमताओं, इसकी प्रोफ़ाइल और उनके विशिष्ट वातावरण में सीमाओं को स्पष्ट रूप से परिभाषित करने का एक तरीका प्रदान करता है। डेवलपर्स आउटपुट के प्रारूप को परिभाषित करने और इच्छित व्यवहार के उदाहरण प्रदान करने की क्षमता का उपयोग कर सकते हैं, इसलिए उपयोगकर्ताओं के लिए इच्छित व्यवहार से विचलन का पता लगाना आसान हो जाता है। यह एक और नई सुविधा है जो अभी तक उपलब्ध नहीं है लेकिन जल्द ही उपलब्ध होनी चाहिए।
Azure AI स्टूडियो की नई घोषणा सुरक्षा मूल्यांकन क्षमता और उसकी जोखिम और सुरक्षा निगरानी दोनों सुविधाएं वर्तमान में पूर्वावलोकन स्थिति में उपलब्ध हैं। संगठन जेलब्रेक हमलों और अप्रत्याशित सामग्री उत्पन्न करने के लिए अपने एलएलएम मॉडल की भेद्यता का आकलन करने के लिए पूर्व का उपयोग कर सकते हैं। जोखिम और सुरक्षा निगरानी क्षमता डेवलपर्स को उन मॉडल इनपुट का पता लगाने की अनुमति देती है जो समस्याग्रस्त हैं और मतिभ्रम या अप्रत्याशित सामग्री को ट्रिगर करने की संभावना रखते हैं, ताकि वे इसके खिलाफ शमन लागू कर सकें।
माइक्रोसॉफ्ट के बर्ड ने कहा, "जेनरेटिव एआई हर विभाग, कंपनी और उद्योग के लिए एक शक्ति गुणक हो सकता है।" "उसी समय, फाउंडेशन मॉडल सुरक्षा और सुरक्षा के लिए नई चुनौतियाँ पेश करते हैं जिनके लिए नवीन शमन और निरंतर सीखने की आवश्यकता होती है।"
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai
