Feature एआई उत्पादों को समझने, बनाने और शिप करने की होड़ में, डेवलपर्स और डेटा वैज्ञानिकों से सुरक्षा के प्रति सचेत रहने और आपूर्ति-श्रृंखला हमलों का शिकार न होने का आग्रह किया जा रहा है।
खेलने के लिए अनगिनत मॉडल, लाइब्रेरी, एल्गोरिदम, पूर्व-निर्मित उपकरण और पैकेज हैं, और प्रगति निरंतर है। इन प्रणालियों का आउटपुट शायद एक और कहानी है, हालांकि यह निर्विवाद है कि कम से कम खेलने के लिए हमेशा कुछ नया होता है।
तमाम उत्साह, प्रचार, जिज्ञासा और छूट जाने के डर की परवाह न करें, सुरक्षा को भुलाया नहीं जा सकता। यदि यह आपके लिए सदमा नहीं है, तो शानदार है। लेकिन यहां एक अनुस्मारक उपयोगी है, खासकर जब से मशीन-लर्निंग तकनीक को इंजीनियरों के बजाय वैज्ञानिकों द्वारा एक साथ रखा जाता है, कम से कम विकास के चरण में, और जबकि वे लोग तंत्रिका नेटवर्क आर्किटेक्चर, परिमाणीकरण और अगले जैसे सामान के बारे में अपना रास्ता जानते हैं। सामान्य प्रशिक्षण तकनीक, इन्फोसेक स्पष्ट रूप से उनकी विशेषता नहीं हो सकती है।
एआई प्रोजेक्ट को एक साथ लाना किसी अन्य सॉफ्टवेयर के निर्माण से बहुत अलग नहीं है। आप आम तौर पर अनुमान कार्यों को करने के लिए पुस्तकालयों, पैकेजों, प्रशिक्षण डेटा, मॉडल और कस्टम स्रोत कोड को एक साथ जोड़ देंगे। सार्वजनिक रिपॉजिटरी से उपलब्ध कोड घटकों में छिपे हुए बैकडोर या डेटा एक्सफ़िल्ट्रेटर हो सकते हैं, और पूर्व-निर्मित मॉडल और डेटासेट को ऐप्स को अप्रत्याशित रूप से अनुचित तरीके से व्यवहार करने के लिए जहर दिया जा सकता है।
वास्तव में, कुछ मॉडलों में मैलवेयर हो सकता है मार डाला यदि उनकी सामग्री सुरक्षित रूप से डिसेरिएलाइज़ नहीं की गई है। ChatGPT प्लगइन्स की सुरक्षा भी है इसके तहत आना कड़ी जांच.
दूसरे शब्दों में, सॉफ्टवेयर विकास की दुनिया में हमने जो आपूर्ति-श्रृंखला हमले देखे हैं, वे एआई भूमि में हो सकते हैं। खराब पैकेज के कारण डेवलपर्स के वर्कस्टेशन से समझौता हो सकता है, जिससे कॉर्पोरेट नेटवर्क में हानिकारक घुसपैठ हो सकती है, और मॉडल और प्रशिक्षण डेटासेट के साथ छेड़छाड़ के कारण एप्लिकेशन चीजों को गलत तरीके से वर्गीकृत कर सकते हैं, उपयोगकर्ताओं को अपमानित कर सकते हैं, इत्यादि। यदि पिछले दरवाजे या मैलवेयर-स्पाइक्ड लाइब्रेरी और मॉडल को शिप किए गए सॉफ़्टवेयर में शामिल किया जाता है, तो उन ऐप्स के उपयोगकर्ताओं को भी हमला करने के लिए खुला छोड़ दिया जा सकता है।
वे एक दिलचस्प गणितीय समस्या हल करेंगे और फिर वे इसे तैनात करेंगे और बस इतना ही। इसका पेन परीक्षण नहीं किया गया है, इसमें कोई एआई रेड टीमिंग नहीं है
प्रतिक्रिया में, इस खतरे से निपटने के लिए साइबर सुरक्षा और एआई स्टार्टअप विशेष रूप से उभर रहे हैं; इसमें कोई संदेह नहीं है कि स्थापित खिलाड़ियों की भी इस पर नजर है, या हमें उम्मीद है। मशीन-लर्निंग परियोजनाओं का ऑडिट और निरीक्षण किया जाना चाहिए, सुरक्षा के लिए परीक्षण किया जाना चाहिए और सुरक्षा के लिए मूल्यांकन किया जाना चाहिए।
“[एआई] शिक्षा जगत से विकसित हुआ है। यह बड़े पैमाने पर विश्वविद्यालय में अनुसंधान परियोजनाएं हैं या वे छोटी सॉफ्टवेयर विकास परियोजनाएं हैं जिन्हें बड़े पैमाने पर शिक्षाविदों या प्रमुख कंपनियों द्वारा बंद कर दिया गया है, और उनके अंदर सुरक्षा नहीं है,'' टॉम बोनर, हिडनलेयर में अनुसंधान के उपाध्यक्ष, एक ऐसे सुरक्षा-केंद्रित स्टार्टअप के बारे में बताया गया रजिस्टर.
“वे सॉफ़्टवेयर का उपयोग करके एक दिलचस्प गणितीय समस्या हल करेंगे और फिर वे इसे तैनात करेंगे और बस इतना ही। इसका परीक्षण नहीं किया गया है, इसमें कोई एआई रेड टीमिंग, जोखिम मूल्यांकन या सुरक्षित विकास जीवनचक्र नहीं है। अचानक एआई और मशीन लर्निंग ने वास्तव में प्रगति की है और हर कोई इसमें शामिल होना चाह रहा है। वे सभी जा रहे हैं और उन सभी सामान्य सॉफ़्टवेयर पैकेजों को उठा रहे हैं जो अकादमिक क्षेत्र से विकसित हुए हैं और देखो, वे कमजोरियों से भरे हुए हैं, छिद्रों से भरे हुए हैं।
एआई आपूर्ति श्रृंखला में अपराधियों के लिए प्रवेश के कई बिंदु हैं, जो चीजों का उपयोग कर सकते हैं टाइपोसक्वाटिंग यह तर्क दिया गया है कि डेवलपर्स को अन्यथा वैध पुस्तकालयों की दुर्भावनापूर्ण प्रतियों का उपयोग करने के लिए धोखा दिया जाता है, जिससे बदमाशों को संवेदनशील डेटा और कॉर्पोरेट क्रेडेंशियल्स चुराने, कोड चलाने वाले सर्वरों को हाईजैक करने और बहुत कुछ करने की अनुमति मिलती है। सॉफ़्टवेयर आपूर्ति-श्रृंखला सुरक्षा को मशीन-लर्निंग सिस्टम विकास पर भी लागू किया जाना चाहिए।
प्रोटेक्ट एआई के प्रमुख एआई सुरक्षा शोधकर्ता डैन मैकइनर्नी ने कहा, "यदि आप एक पाई चार्ट के बारे में सोचें कि आपकी कंपनी या संगठन में एआई विभाग खोलने के बाद आप कैसे हैक हो जाएंगे।" रजिस्टर, “उस पाई का एक छोटा सा हिस्सा मॉडल इनपुट हमले होने जा रहा है, जिसके बारे में हर कोई बात करता है। और एक बड़ा हिस्सा आपूर्ति श्रृंखला पर हमला करने जा रहा है - वे उपकरण जिनका उपयोग आप स्वयं मॉडल बनाने के लिए करते हैं।'
इनपुट हमले हो रहे हैं दिलचस्प तरीके जिसका उपयोग करके लोग AI सॉफ्टवेयर को तोड़ सकते हैं।
संभावित खतरे को स्पष्ट करने के लिए, दूसरे सप्ताह हिडनलेयर हाइलाइटेड इसका दृढ़ विश्वास है कि हगिंग फेस द्वारा प्रदान की गई एक ऑनलाइन सेवा के साथ एक सुरक्षा मुद्दा है जो असुरक्षित अचार प्रारूप में मॉडल को अधिक सुरक्षित में परिवर्तित करता है सेफटेंसर, हगिंग फेस द्वारा भी विकसित किया गया।
पिकल मॉडल में मैलवेयर और अन्य मनमाने कोड हो सकते हैं जिन्हें डिसेरिएलाइज़ किए जाने पर चुपचाप और अप्रत्याशित रूप से निष्पादित किया जा सकता है, जो अच्छा नहीं है। सेफटेंसर्स को एक सुरक्षित विकल्प के रूप में बनाया गया था: उस प्रारूप का उपयोग करने वाले मॉडलों को डिसेरिएलाइज़ किए जाने पर एम्बेडेड कोड नहीं चलना चाहिए। जो लोग नहीं जानते हैं, उनके लिए हगिंग फेस सैकड़ों हजारों न्यूरल नेटवर्क मॉडल, डेटासेट और कोड डेवलपर्स के बिट्स को होस्ट करता है, जिन्हें कुछ ही क्लिक या कमांड के साथ डाउनलोड और उपयोग किया जा सकता है।
सेफटेंसर्स कनवर्टर हगिंग फेस इंफ्रास्ट्रक्चर पर चलता है, और हगिंग फेस द्वारा होस्ट किए गए प्यॉर्च पिकल मॉडल को सेफटेंसर्स फॉर्मेट में एक कॉपी में बदलने का निर्देश दिया जा सकता है। लेकिन हिडनलेयर के अनुसार, वह ऑनलाइन रूपांतरण प्रक्रिया स्वयं मनमाने कोड निष्पादन के प्रति संवेदनशील है।
हिडनलेयर के शोधकर्ताओं ने कहा कि उन्होंने पाया कि वे मनमाने कोड वाले दुर्भावनापूर्ण पिकल मॉडल के लिए रूपांतरण अनुरोध सबमिट कर सकते हैं, और परिवर्तन प्रक्रिया के दौरान, उस कोड को हगिंग फेस के सिस्टम पर निष्पादित किया जाएगा, जिससे कोई व्यक्ति कनवर्टर बॉट और उसके उपयोगकर्ताओं के साथ खिलवाड़ शुरू कर सकेगा। यदि कोई उपयोगकर्ता किसी दुर्भावनापूर्ण मॉडल को परिवर्तित करता है, तो उनके हगिंग फेस टोकन को छिपे हुए कोड द्वारा घुसपैठ किया जा सकता है, और "हम वास्तव में उनके हगिंग फेस टोकन को चुरा सकते हैं, उनके रिपॉजिटरी से समझौता कर सकते हैं, और सभी निजी रिपॉजिटरी, डेटासेट और मॉडल देख सकते हैं जो उस उपयोगकर्ता के पास हैं तक पहुंच, हिडनलेयर ने तर्क दिया।
इसके अलावा, हमें बताया गया है कि कनवर्टर बॉट के क्रेडेंशियल्स को पिकल मॉडल में छिपाए गए कोड द्वारा एक्सेस और लीक किया जा सकता है, जिससे किसी को बॉट के रूप में छिपाने और अन्य रिपॉजिटरी में बदलाव के लिए पुल अनुरोध खोलने की इजाजत मिलती है। स्वीकार किए जाने पर वे परिवर्तन दुर्भावनापूर्ण सामग्री प्रस्तुत कर सकते हैं। हमने हगिंग फेस से हिडनलेयर के निष्कर्षों पर प्रतिक्रिया मांगी है।
हिडनलेयर के बोनर ने हमें बताया, "विडंबना यह है कि सेफटेंसर्स में परिवर्तित करने की रूपांतरण सेवा स्वयं बेहद असुरक्षित थी।" “रूपांतरण बॉट के पास रिपॉजिटरी तक पहुंच के स्तर को देखते हुए, अन्य रिपॉजिटरी के माध्यम से परिवर्तन सबमिट करने के लिए उनके द्वारा उपयोग किए जाने वाले टोकन को चुराना वास्तव में संभव था।
“तो सिद्धांत रूप में, एक हमलावर किसी भी रिपॉजिटरी में कोई भी बदलाव सबमिट कर सकता था और ऐसा दिखा सकता था जैसे यह हगिंग फेस से आया है, और एक सुरक्षा अद्यतन उन्हें इसे स्वीकार करने के लिए मूर्ख बना सकता है। लोगों के पास अपने रिपॉजिट में सिर्फ पिछले दरवाजे वाले मॉडल या असुरक्षित मॉडल होंगे और उन्हें पता नहीं चलेगा।
यह एक सैद्धांतिक खतरे से कहीं अधिक है: डेवॉप्स शॉप जेफ्रॉग कहा मिल गया हगिंग फेस पर होस्ट किए गए 100 मॉडलों में दुर्भावनापूर्ण कोड छिपा हुआ है।
वास्तव में, मॉडलों में कोड के हानिकारक पेलोड को छिपाने के विभिन्न तरीके हैं - जो फ़ाइल प्रारूप के आधार पर - तंत्रिका नेटवर्क लोड और पार्स किए जाने पर निष्पादित होते हैं, जिससे बदमाशों को लोगों की मशीनों तक पहुंच प्राप्त करने की अनुमति मिलती है। JFrog ने कहा, PyTorch और Tensorflow Keras मॉडल "दुर्भावनापूर्ण कोड निष्पादित करने का सबसे अधिक संभावित जोखिम पैदा करते हैं क्योंकि वे ज्ञात कोड निष्पादन तकनीकों के साथ लोकप्रिय मॉडल प्रकार हैं जो प्रकाशित हो चुके हैं।"
असुरक्षित सिफ़ारिशें
बोनर ने चेतावनी दी कि एप्लिकेशन विकसित करने के लिए कोड-सुझाव सहायकों का उपयोग करने वाले प्रोग्रामर्स को भी सावधान रहने की आवश्यकता है, अन्यथा वे असुरक्षित कोड को शामिल कर सकते हैं। उदाहरण के लिए, GitHub Copilot को ओपन सोर्स रिपॉजिटरी पर प्रशिक्षित किया गया था, और उनमें से कम से कम 350,000 संभावित रूप से असुरक्षित हैं पुराना सुरक्षा मुद्दा पायथन और टार अभिलेखागार शामिल हैं।
पायथन के tarfile मॉड्यूल, जैसा कि नाम से पता चलता है, प्रोग्राम को टार आर्काइव्स को अनपैक करने में मदद करता है। .tar को ऐसे तैयार करना संभव है कि जब संग्रह के भीतर एक फ़ाइल को पायथन मॉड्यूल द्वारा निकाला जाता है, तो यह उपयोगकर्ता की फ़ाइल प्रणाली पर एक मनमानी फ़ाइल को अधिलेखित करने का प्रयास करेगा। इसका उपयोग सेटिंग्स को रद्दी करने, स्क्रिप्ट बदलने और अन्य शरारतें पैदा करने के लिए किया जा सकता है।
यह खामी 2007 में देखी गई थी हाइलाइटेड 2022 में फिर से, लोगों को इस शोषण से बचने के लिए पैचिंग परियोजनाएं शुरू करने के लिए प्रेरित किया जाएगा। बोनर ने अफसोस जताया कि उन सुरक्षा अद्यतनों ने बड़े भाषा मॉडलों को प्रोग्राम करने के लिए प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटासेट में अपना रास्ता नहीं बनाया होगा। "इसलिए यदि आप किसी एलएलएम को अभी जाने और टार फ़ाइल को अनपैक करने के लिए कहते हैं, तो यह संभवतः आपको [पुराना] कमजोर कोड वापस दे देगा।"
बोनर ने एआई समुदाय से आपूर्ति-श्रृंखला सुरक्षा प्रथाओं को लागू करना शुरू करने का आग्रह किया, जैसे कि सार्वजनिक कोड रिपॉजिटरी में बदलाव करते समय डेवलपर्स को डिजिटल रूप से यह साबित करने की आवश्यकता होती है कि वे वही हैं जो वे कहते हैं, जो लोगों को आश्वस्त करेगा कि चीजों के नए संस्करण वैध डेवलपर्स द्वारा उत्पादित किए गए थे। और ये दुर्भावनापूर्ण परिवर्तन नहीं थे. इसके लिए डेवलपर्स को जो कुछ भी वे प्रमाणित करने के लिए उपयोग करते हैं उसे सुरक्षित करने की आवश्यकता होगी ताकि कोई और उनके रूप में न आ सके।
और सभी डेवलपर्स, बड़े और छोटे, को सुरक्षा मूल्यांकन करना चाहिए और उनके द्वारा उपयोग किए जाने वाले टूल का निरीक्षण करना चाहिए, और तैनात करने से पहले अपने सॉफ़्टवेयर का परीक्षण करना चाहिए।
एआई आपूर्ति श्रृंखला में सुरक्षा बढ़ाने की कोशिश करना मुश्किल है, और इतने सारे टूल और मॉडल बनाए और जारी किए जाने के साथ, इसे बनाए रखना मुश्किल है।
प्रोटेक्ट एआई के मैकइनर्नी ने जोर देकर कहा, “अभी हम इसी तरह की स्थिति में हैं। नीचे लटकने वाले ढेर सारे फल हर जगह पाए जाते हैं। यह सब देखने के लिए पर्याप्त जनशक्ति नहीं है क्योंकि सब कुछ बहुत तेज़ी से आगे बढ़ रहा है।" ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
