हाल ही में जारी शोध के अनुसार, सॉफ्टवेयर डेवलपर्स द्वारा बड़े भाषा मॉडल (एलएलएम) का उपयोग हमलावरों के लिए विकास परिवेशों में दुर्भावनापूर्ण पैकेज वितरित करने के लिए पहले की तुलना में एक बड़ा अवसर प्रस्तुत करता है।
एलएलएम सुरक्षा विक्रेता लासो सिक्योरिटी का अध्ययन पिछले साल की संभावनाओं पर एक रिपोर्ट का अनुवर्ती है हमलावर एलएलएम की मतिभ्रम की प्रवृत्ति का दुरुपयोग करते हैं, या प्रतीत होता है कि प्रशंसनीय लेकिन तथ्यात्मक रूप से आधारित नहीं, उपयोगकर्ता इनपुट के जवाब में परिणाम उत्पन्न करने के लिए।
एआई पैकेज मतिभ्रम
RSI पिछले अध्ययन जब सॉफ्टवेयर डेवलपर्स ने विकास के माहौल में एआई-सक्षम चैटबॉट की मदद मांगी, तो चैटजीपीटी ने अन्य निर्माणों के बीच कोड लाइब्रेरी के नाम गढ़ने की प्रवृत्ति पर ध्यान केंद्रित किया। दूसरे शब्दों में, चैटबॉट कभी-कभी सार्वजनिक कोड रिपॉजिटरी पर गैर-मौजूद पैकेजों के लिंक उगल देता है, जब कोई डेवलपर उससे किसी प्रोजेक्ट में उपयोग करने के लिए पैकेजों का सुझाव देने के लिए कह सकता है।
सुरक्षा शोधकर्ता बार लैन्याडो, जो अध्ययन के लेखक हैं और अब लैस्सो सिक्योरिटी में हैं, ने पाया कि हमलावर आसानी से उस स्थान पर एक वास्तविक दुर्भावनापूर्ण पैकेज छोड़ सकते हैं जहां चैटजीपीटी इंगित करता है और इसे मतिभ्रम पैकेज के समान नाम दे सकता है। कोई भी डेवलपर जो चैटजीपीटी की अनुशंसा के आधार पर पैकेज डाउनलोड करता है, उसके विकास परिवेश में मैलवेयर आ सकता है।
लैन्याडो का अनुवर्ती अनुसंधान चार अलग-अलग बड़े भाषा मॉडलों में पैकेज मतिभ्रम समस्या की व्यापकता की जांच की गई: जीपीटी-3.5-टर्बो, जीपीटी-4, जेमिनी प्रो (पूर्व में बार्ड), और कोरल (कोहेयर)। उन्होंने विभिन्न प्रोग्रामिंग भाषाओं में मतिभ्रम पैकेज उत्पन्न करने के लिए प्रत्येक मॉडल की प्रवृत्ति का परीक्षण किया और जिस आवृत्ति के साथ उन्होंने एक ही मतिभ्रम पैकेज उत्पन्न किया।
परीक्षणों के लिए, लान्याडो ने हजारों "कैसे करें" प्रश्नों की एक सूची तैयार की, जो विभिन्न प्रोग्रामिंग वातावरणों - पायथन, नोड.जेएस, गो, .नेट, रूबी - में डेवलपर्स आमतौर पर विकास वातावरण में एलएलएम से सहायता मांगते हैं। लैन्याडो ने फिर प्रत्येक मॉडल से कोडिंग से संबंधित प्रश्न पूछा और साथ ही प्रश्न से संबंधित पैकेज के लिए सिफारिश भी की। उन्होंने प्रत्येक मॉडल से समान समस्या को हल करने के लिए 10 और पैकेजों की सिफारिश करने के लिए भी कहा।
दोहराए जाने वाले परिणाम
नतीजे परेशान करने वाले थे. लान्याडो की जेमिनी के साथ हुई आश्चर्यजनक 64.5% "बातचीत" में मतिभ्रम वाले पैकेज उत्पन्न हुए। कोरल के साथ, यह संख्या 29.1% थी; जीपीटी-4 (24.2%) और जीपीटी3.5 (22.5%) जैसे अन्य एलएलएम का प्रदर्शन बहुत बेहतर नहीं रहा।
जब लान्याडो ने प्रत्येक मॉडल से 100 बार प्रश्नों का एक ही सेट पूछा, यह देखने के लिए कि मॉडल एक ही पैकेज को कितनी बार मतिभ्रम करते हैं, तो उन्होंने पाया कि पुनरावृत्ति दर भी भौंहें चढ़ाने वाली थी। उदाहरण के लिए, कोहेयर ने 24% से अधिक समय में वही मतिभ्रम पैकेज उगल दिए; जीपीटी-3.5 और जेमिनी लगभग 14% और जीपीटी-4 20% पर चैट करें। कई उदाहरणों में, विभिन्न मॉडलों ने समान या समान पैकेजों की कल्पना की। ऐसे क्रॉस-मतिभ्रम वाले मॉडलों की सबसे अधिक संख्या GPT-3.5 और जेमिनी के बीच हुई।
लैन्याडो का कहना है कि भले ही अलग-अलग डेवलपर्स ने एलएलएम से एक ही विषय पर प्रश्न पूछा हो, लेकिन प्रश्नों को अलग-अलग तरीके से तैयार किया हो, संभावना है कि एलएलएम प्रत्येक मामले में एक ही मतिभ्रम पैकेज की सिफारिश करेगा। दूसरे शब्दों में, कोडिंग सहायता के लिए एलएलएम का उपयोग करने वाले किसी भी डेवलपर को समान मतिभ्रम वाले कई पैकेजों का सामना करना पड़ सकता है।
"प्रश्न बिल्कुल अलग हो सकता है लेकिन एक समान विषय पर, और मतिभ्रम अभी भी होगा, जिससे यह तकनीक बहुत प्रभावी हो जाएगी," लैन्याडो कहते हैं। "वर्तमान शोध में, हमें कई अलग-अलग प्रश्नों और विषयों और यहां तक कि विभिन्न मॉडलों के लिए 'दोहराए जाने वाले पैकेज' प्राप्त हुए, जिससे इन मतिभ्रम पैकेजों के उपयोग की संभावना बढ़ जाती है।"
शोषण करना आसान
उदाहरण के लिए, कुछ मतिभ्रम पैकेजों के नामों से लैस एक हमलावर, समान नामों वाले पैकेजों को उपयुक्त रिपॉजिटरी में अपलोड कर सकता है, यह जानते हुए कि एक अच्छी संभावना है कि एलएलएम डेवलपर्स को इस ओर इंगित करेगा। यह प्रदर्शित करने के लिए कि खतरा सैद्धांतिक नहीं है, लैन्याडो ने "हगिंगफेस-सीएलआई" नामक एक मतिभ्रम पैकेज लिया, जिसका उसे अपने परीक्षणों के दौरान सामना करना पड़ा और मशीन लर्निंग मॉडल के लिए हगिंग फेस रिपॉजिटरी में उसी नाम से एक खाली पैकेज अपलोड किया। उनका कहना है कि डेवलपर्स ने उस पैकेज को 32,000 से अधिक बार डाउनलोड किया है।
खतरे वाले अभिनेता के दृष्टिकोण से, पैकेज मतिभ्रम मैलवेयर वितरित करने के लिए अपेक्षाकृत सरल वेक्टर प्रदान करता है। "जैसा कि हमने शोध परिणामों से देखा, यह उतना कठिन नहीं है," वे कहते हैं। लैन्याडो कहते हैं, औसतन, सभी मॉडलों ने लगभग 35 प्रश्नों के लिए एक साथ 48,000% मतिभ्रम किया। जीपीटी-3.5 में मतिभ्रम का प्रतिशत सबसे कम था; उन्होंने बताया कि सभी चार मॉडलों में 18% की औसत दोहराव के साथ जेमिनी ने सबसे अधिक स्कोर किया।
लैन्याडो का सुझाव है कि डेवलपर्स एलएलएम से पैकेज सिफारिशों पर कार्य करते समय सावधानी बरतते हैं जब वे इसकी सटीकता के बारे में पूरी तरह से आश्वस्त नहीं होते हैं। उनका यह भी कहना है कि जब डेवलपर्स को एक अपरिचित ओपन सोर्स पैकेज का सामना करना पड़ता है, तो उन्हें पैकेज रिपॉजिटरी पर जाने और उसके समुदाय के आकार, उसके रखरखाव रिकॉर्ड, उसकी ज्ञात कमजोरियों और उसकी समग्र सहभागिता दर की जांच करने की आवश्यकता होती है। डेवलपर्स को विकास परिवेश में पेश करने से पहले पैकेज को अच्छी तरह से स्कैन करना चाहिए।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
