शिक्षाविदों ने दावा किया है कि एआई एजेंट, जो ऑटोमेशन सॉफ्टवेयर के साथ बड़े भाषा मॉडल को जोड़ते हैं, सुरक्षा सलाह पढ़कर वास्तविक दुनिया की सुरक्षा कमजोरियों का सफलतापूर्वक फायदा उठा सकते हैं।
एक नए जारी में काग़ज़इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन (यूआईयूसी) के चार कंप्यूटर वैज्ञानिकों - रिचर्ड फैंग, रोहन बिंदु, अकुल गुप्ता और डैनियल कांग - की रिपोर्ट है कि ओपनएआई का जीपीटी -4 बड़ा भाषा मॉडल (एलएलएम) वास्तविक दुनिया प्रणालियों में कमजोरियों का स्वायत्त रूप से फायदा उठा सकता है। दोष का वर्णन करने वाली एक सीवीई सलाह।
"इसे दिखाने के लिए, हमने 15 एक दिवसीय कमजोरियों का एक डेटासेट एकत्र किया, जिसमें सीवीई विवरण में गंभीर गंभीरता के रूप में वर्गीकृत किया गया है," यूएस-आधारित लेखक अपने पेपर में बताते हैं।
“सीवीई विवरण दिए जाने पर, जीपीटी-4 हमारे द्वारा परीक्षण किए गए हर दूसरे मॉडल (जीपीटी-87, ओपन-सोर्स एलएलएम) और ओपन-सोर्स भेद्यता स्कैनर (जेडएपी और मेटास्प्लोइट) के लिए 0 प्रतिशत की तुलना में इन कमजोरियों का 3.5 प्रतिशत फायदा उठाने में सक्षम है। ।”
यदि आप यह अनुमान लगाएं कि भविष्य के मॉडल क्या कर सकते हैं, तो ऐसा लगता है कि वे उस स्क्रिप्ट की तुलना में कहीं अधिक सक्षम होंगे जो आज बच्चों को मिल सकती है।
शब्द "एक दिवसीय भेद्यता" उन कमजोरियों को संदर्भित करता है जिनका खुलासा किया गया है लेकिन उन्हें ठीक नहीं किया गया है। और सीवीई विवरण से, टीम का मतलब एनआईएसटी द्वारा साझा की गई सीवीई-टैग की गई सलाह है - उदाहरण के लिए, यह एक सीवीई-2024-28859 के लिए।
असफल मॉडल का परीक्षण किया गया - GPT-3.5, OpenHermes-2.5-मिस्ट्रल-7B, लामा-2 चैट (70B), LLaMA-2 चैट (13B), LLaMA-2 चैट (7B), मिक्सट्राल-8x7B इंस्ट्रक्शन, मिस्ट्रल (7B) इंस्ट्रक्शन v0.2, नूस हर्मीस-2 यी 34बी, और ओपनचैट 3.5 - में जीपीटी-4 के दो प्रमुख वाणिज्यिक प्रतिद्वंद्वी, एंथ्रोपिक के क्लाउड 3 और गूगल के जेमिनी 1.5 प्रो शामिल नहीं थे। यूआईयूसी बोफिन्स के पास उन मॉडलों तक पहुंच नहीं थी, हालांकि उन्हें उम्मीद है कि किसी बिंदु पर उनका परीक्षण किया जाएगा।
शोधकर्ताओं का काम आगे बढ़ता है पूर्व निष्कर्ष एलएलएम का उपयोग सैंडबॉक्स वाले वातावरण में वेबसाइटों पर हमलों को स्वचालित करने के लिए किया जा सकता है।
GPT-4, UIUC के सहायक प्रोफेसर डैनियल कांग ने एक ईमेल में कहा रजिस्टर, "वास्तव में स्वायत्त रूप से कुछ कारनामे करने के लिए कदम उठा सकते हैं जो ओपन-सोर्स भेद्यता स्कैनर (लेखन के समय) नहीं ढूंढ सकते हैं।"
कांग ने कहा कि उन्हें उम्मीद है कि एलएलएम एजेंट, (इस उदाहरण में) एक चैटबॉट मॉडल को वायरिंग करके बनाए जाएंगे प्रतिक्रिया लैंगचेन में लागू स्वचालन ढांचा, सभी के लिए शोषण को बहुत आसान बना देगा। हमें बताया गया है कि ये एजेंट अधिक जानकारी के लिए सीवीई विवरण में दिए गए लिंक का अनुसरण कर सकते हैं।
उन्होंने कहा, "इसके अलावा, यदि आप यह अनुमान लगाते हैं कि जीपीटी-5 और भविष्य के मॉडल क्या कर सकते हैं, तो ऐसा लगता है कि वे आज की स्क्रिप्ट किड्स तक पहुंच की तुलना में कहीं अधिक सक्षम होंगे।"
एलएलएम एजेंट (जीपीटी-4) को प्रासंगिक सीवीई विवरण तक पहुंच से वंचित करने से इसकी सफलता दर 87 प्रतिशत से घटकर केवल सात प्रतिशत रह गई। हालाँकि, कांग ने कहा कि उनका मानना नहीं है कि सुरक्षा जानकारी की सार्वजनिक उपलब्धता को सीमित करना एलएलएम एजेंटों से बचाव का एक व्यवहार्य तरीका है।
"मैं व्यक्तिगत रूप से नहीं सोचता कि अस्पष्टता के माध्यम से सुरक्षा व्यवहार्य है, जो कि सुरक्षा शोधकर्ताओं के बीच प्रचलित ज्ञान प्रतीत होता है," उन्होंने समझाया। "मुझे उम्मीद है कि मेरा काम, और अन्य काम, सुरक्षा पैच आने पर पैकेजों को नियमित रूप से अपडेट करने जैसे सक्रिय सुरक्षा उपायों को प्रोत्साहित करेंगे।"
एलएलएम एजेंट 15 नमूनों में से केवल दो का उपयोग करने में विफल रहा: आइरिस एक्सएसएस (सीवीई-2024-25640) और हर्ट्जबीट आरसीई (सीवीई-2023-51653)। पेपर के अनुसार, पहला समस्याग्रस्त साबित हुआ क्योंकि आइरिस वेब ऐप में एक इंटरफ़ेस है जिसे एजेंट के लिए नेविगेट करना बेहद मुश्किल है। और उत्तरार्द्ध में चीनी भाषा में एक विस्तृत विवरण शामिल है, जो संभवतः अंग्रेजी भाषा संकेत के तहत काम करने वाले एलएलएम एजेंट को भ्रमित करता है।
परीक्षण की गई ग्यारह कमजोरियाँ GPT-4 के प्रशिक्षण कटऑफ के बाद हुईं, जिसका अर्थ है कि मॉडल ने प्रशिक्षण के दौरान उनके बारे में कोई डेटा नहीं सीखा था। इन सीवीई के लिए इसकी सफलता दर थोड़ी कम 82 प्रतिशत या 9 में से 11 थी।
जहां तक बग की प्रकृति का सवाल है, वे सभी उपरोक्त पेपर में सूचीबद्ध हैं, और हमें बताया गया है: “हमारी कमजोरियां वेबसाइट की कमजोरियों, कंटेनर कमजोरियों और कमजोर पायथन पैकेजों तक फैली हुई हैं। सीवीई विवरण के अनुसार आधे से अधिक को 'उच्च' या 'गंभीर' गंभीरता के रूप में वर्गीकृत किया गया है।
कांग और उनके सहयोगियों ने एक सफल एलएलएम एजेंट हमले को अंजाम देने की लागत की गणना की और $8.80 प्रति शोषण का आंकड़ा निकाला, जो उनका कहना है कि 2.8 मिनट के लिए मानव प्रवेश परीक्षक को किराए पर लेने की लागत से लगभग 30 गुना कम है।
कांग के अनुसार, एजेंट कोड में कोड की केवल 91 पंक्तियाँ और प्रॉम्प्ट के लिए 1,056 टोकन होते हैं। GPT-4 के निर्माता OpenAI ने शोधकर्ताओं से कहा था कि वे अपने प्रॉम्प्ट को जनता के लिए जारी न करें, हालाँकि उनका कहना है कि वे अनुरोध पर उन्हें प्रदान करेंगे।
ओपनएआई ने टिप्पणी के अनुरोध का तुरंत जवाब नहीं दिया। ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
