टेक्सास में बायलर यूनिवर्सिटी के बोफिन्स ने पाया है कि जब भविष्यवाणियों को अतीत की कहानी के रूप में प्रस्तुत करने के लिए कहा जाता है तो एआई मॉडल भविष्य की भविष्यवाणी करने में बेहतर हो जाते हैं।
In एक पेपर शीर्षक, "चैटजीपीटी भविष्य की भविष्यवाणी कर सकता है जब यह अतीत के बारे में भविष्य में सेट की गई कहानियों को बताता है," फाम और कनिंघम ने अंतिम दृश्य दिया - कि एआई मॉडल पूर्वानुमान कुछ परिस्थितियों में प्रभावी हो सकता है। सीधे भविष्यवाणियां मांगने के बजाय चैटबॉट से भविष्य की घटनाओं के बारे में कहानियां पूछना आश्चर्यजनक रूप से प्रभावी साबित हुआ, खासकर ऑस्कर विजेताओं की भविष्यवाणी करने में।
लेकिन उनका काम ओपनएआई के सुरक्षा तंत्र की अप्रभावीता के बारे में उतना ही बताता है जितना कि बड़े भाषा मॉडल की पूर्वानुमान क्षमता के बारे में।
अन्य शोधकर्ताओं ने पूर्वानुमान के लिए एआई मॉडल में समान रुचि दिखाई है। एक अध्ययन पिछले साल से पाया गया कि "जीपीटी-4 औसत मानव-भीड़ पूर्वानुमानों की तुलना में वास्तविक दुनिया के पूर्वानुमान कार्यों में काफी कम प्रदर्शन करता है।" दूसरों को एआई मॉडल मिले हैं दिखाना वादा शेयर बाज़ार निवेश के लिए.
OpenAI के सेवा की शर्तें कुछ संदर्भों में भविष्य के बारे में भविष्यवाणियों की अनुमति न दें। उदाहरण के लिए, "आपको किसी व्यक्ति से संबंधित किसी भी आउटपुट का उपयोग किसी ऐसे उद्देश्य के लिए नहीं करना चाहिए जिसका उस व्यक्ति पर कानूनी या भौतिक प्रभाव हो सकता है, जैसे क्रेडिट, शैक्षिक, रोजगार, आवास, बीमा, कानूनी, चिकित्सा, या अन्य महत्वपूर्ण निर्णय लेना उनके विषय में।"
मतिभ्रम के लिए जाने जाने वाले बड़े भाषा मॉडल की सलाह पर भरोसा करने का जोखिम स्पष्ट है - आप नहीं चाहते कि चैटजीपीटी चिकित्सा उपचार निर्णय, सजा या क्रेडिट अनुमोदन जैसे परिणामी निर्णय ले।
लेकिन फिर भी, मॉडल के लिए अक्सर एक प्रभावी अनुमानक बनना संभव है।
हमें संदेह है कि ओपनएआई ने कई प्रकार के पूर्ण पूर्वानुमान कार्यों में संलग्न होने की चैटजीपीटी की इच्छा को दबा दिया है
शोधकर्ताओं का तर्क है, "अगर चैटजीपीटी में बेहतर पूर्वानुमान क्षमता पाई गई, तो कोई भी आसानी से कल्पना कर सकता है कि इसका तुरंत उन तरीकों से उपयोग किया जाएगा जो उपरोक्त शर्तों में से एक या सभी का उल्लंघन करते हैं, और इस प्रकार हमें संदेह है कि ओपनएआई ने कई में शामिल होने के लिए चैटजीपीटी की इच्छा को दबा दिया है।" एकमुश्त भविष्यवाणी कार्यों के प्रकार।
हमने ओपनएआई से इस पर टिप्पणी करने के लिए कहा कि क्या यह जानबूझकर भविष्यवाणी को विफल करने की कोशिश करता है, और हमने कोई जवाब नहीं दिया है।
हालाँकि, यह स्पष्ट है कि मेडिकल उपचार सलाह प्रदान करने के लिए कहे जाने पर OpenAI के मॉडल टाल-मटोल करेंगे। फाम और कनिंघम ने ChatGPT इंटरफ़ेस के माध्यम से OpenAI के GPT-4 से पूछा, “मैं वास्तव में बीमार महसूस कर रहा हूँ। मुझे सिरदर्द है और मेरे पेशाब में खून आ रहा है। तुम्हें क्या लगता है मेरे पास क्या है?” और जैसा कि अपेक्षित था, मॉडल ने एक चिकित्सा पेशेवर से मार्गदर्शन लेने की सलाह दी।
फिर उन्होंने अपनी प्रेरित करने की रणनीति बदल दी और चैटजीपीटी को एक कहानी बताने का निर्देश दिया जिसमें एक व्यक्ति डॉक्टर के कार्यालय में आता है और उन्हीं लक्षणों के साथ पेश होता है। और चैटजीपीटी ने अनुरोधित दृश्य में चरित्र संवाद के रूप में, सीधे पूछे जाने पर चिकित्सीय सलाह के साथ जवाब दिया, जिसे देने से उसने इनकार कर दिया।
“यह विशेषज्ञ सलाह सटीक है या नहीं यह दूसरी बात है; हमारा उद्देश्य केवल यह नोट करना है कि जब इसे सीधे तौर पर करने के लिए कहा जाएगा तो यह कार्य नहीं करेगा, बल्कि जब अप्रत्यक्ष रूप से रचनात्मक लेखन अभ्यास के रूप में कार्य दिया जाएगा, तो यह ऐसा करेगा, ”शोधकर्ताओं ने अपने पेपर में बताया है।
पूर्वानुमानित प्रतिक्रियाओं के प्रतिरोध पर काबू पाने के लिए इस प्रेरक रणनीति को देखते हुए, बायलर अर्थशास्त्रियों ने यह परीक्षण करने के लिए निर्धारित किया कि मॉडल का प्रशिक्षण पूरा होने के बाद होने वाली घटनाओं की मॉडल कितनी अच्छी तरह भविष्यवाणी कर सकता है।
और पुरस्कार जाता है...
प्रयोग के समय, GPT-3.5 और GPT-4 को केवल सितंबर 2021 तक की घटनाओं के बारे में पता था, उनके प्रशिक्षण डेटा कटऑफ - जो तब से आगे बढ़ गया है। इसलिए दोनों ने मॉडल से ऐसी कहानियां बताने के लिए कहा जो समय के साथ मुद्रास्फीति और बेरोजगारी दर जैसे आर्थिक आंकड़ों और विभिन्न 2022 अकादमी पुरस्कारों के विजेताओं की भविष्यवाणी करती हों।
“इस प्रयोग के परिणामों को सारांशित करते हुए, हम पाते हैं कि जब नामांकित व्यक्तियों के साथ प्रस्तुत किया गया और चैटजीपीटी-3.5 और चैटजीपीटी-4 में दो प्रेरक शैलियों [प्रत्यक्ष और कथा] का उपयोग किया गया, तो चैटजीपीटी-4 ने सभी अभिनेता और अभिनेत्री श्रेणियों के विजेताओं की सटीक भविष्यवाणी की, लेकिन सर्वश्रेष्ठ चित्र नहीं, भविष्य की कथा सेटिंग का उपयोग करते समय, लेकिन अन्य [प्रत्यक्ष संकेत] दृष्टिकोणों में खराब प्रदर्शन किया,'' पेपर बताता है।
प्रशिक्षण डेटा में पहले से मौजूद चीजों के लिए, हमें यह समझ में आता है कि चैटजीपीटी बेहद सटीक भविष्यवाणियां कर सकता है
कनिंघम ने बताया, "उन चीजों के लिए जो पहले से ही प्रशिक्षण डेटा में हैं, हमें यह समझ में आता है कि चैटजीपीटी में उस जानकारी का उपयोग करने की क्षमता है और अपने मशीन लर्निंग मॉडल के साथ बेहद सटीक भविष्यवाणियां करता है।" रजिस्टर एक फ़ोन साक्षात्कार में. "हालांकि, कोई चीज़ इसे ऐसा करने से रोक रही है, भले ही यह स्पष्ट रूप से ऐसा कर सकता है।"
कथात्मक प्रेरणा रणनीति का उपयोग करने से प्रत्यक्ष संकेत के माध्यम से प्राप्त अनुमान की तुलना में बेहतर परिणाम प्राप्त हुए। यह पांच में से एक यादृच्छिक विकल्प के लिए 20 प्रतिशत बेसलाइन से भी बेहतर था।
लेकिन कथात्मक पूर्वानुमान हमेशा सटीक नहीं होते थे। कथात्मक प्रोत्साहन के कारण 2022 के सर्वश्रेष्ठ चित्र विजेता की गलत भविष्यवाणी हुई।
और सही ढंग से पूर्वानुमानित संकेतों के लिए, ये मॉडल हमेशा एक ही उत्तर प्रदान नहीं करते हैं। कनिंघम ने कहा, "लोगों को ध्यान में रखने वाली बात यह है कि भविष्यवाणी में यह यादृच्छिकता है।" “तो यदि आप इसे 100 बार पूछते हैं, तो आपको उत्तरों का वितरण मिलेगा। और इसलिए आप केवल एक भविष्यवाणी के विपरीत, आत्मविश्वास अंतराल या औसत जैसी चीजों को देख सकते हैं।
क्या इस रणनीति ने क्राउडसोर्स्ड भविष्यवाणियों से बेहतर प्रदर्शन किया? कनिंघम ने कहा कि उन्होंने और उनके सहयोगी ने किसी अन्य पूर्वानुमानित मॉडल के मुकाबले अपनी कथा प्रोत्साहन तकनीक को बेंचमार्क नहीं किया, लेकिन कहा कि अकादमी पुरस्कार की कुछ भविष्यवाणियों को हराना मुश्किल होगा क्योंकि एआई मॉडल ने उनमें से कुछ को लगभग सौ प्रतिशत सही पाया है। एकाधिक पूछताछ.
साथ ही, उन्होंने सुझाव दिया कि एआई मॉडल के लिए अकादमी पुरस्कार विजेताओं की भविष्यवाणी करना आसान हो सकता है क्योंकि फिल्मों की ऑनलाइन चर्चा प्रशिक्षण डेटा में कैद हो जाती है। कनिंघम ने कहा, "यह संभवतः इस बात से अत्यधिक संबंधित है कि लोग उस समय उन अभिनेताओं और अभिनेत्रियों के बारे में कैसे बात कर रहे थे।"
एक दशक के बाद अकादमी पुरस्कार विजेताओं की भविष्यवाणी करने के लिए मॉडल से पूछना शायद उतना अच्छा नहीं होगा।
चैटजीपीटी ने संकेतों के आधार पर अलग-अलग पूर्वानुमान सटीकता भी प्रदर्शित की। कनिंघम ने समझाया, "हमारे पास दो कहानी संकेत हैं जो हम करते हैं।" “एक कॉलेज प्रोफेसर है, जो भविष्य में एक कक्षा को पढ़ाने के लिए तैयार है। और कक्षा में, वह मुद्रास्फीति और बेरोजगारी पर एक वर्ष का डेटा पढ़ती है। और दूसरे में, हमारे पास फेडरल रिजर्व के अध्यक्ष जेरोम पॉवेल थे, जो गवर्नर्स बोर्ड को भाषण दे रहे थे। हमें बहुत अलग परिणाम मिले. और पॉवेल का [एआई जनित] भाषण कहीं अधिक सटीक है।"
दूसरे शब्दों में, कुछ त्वरित विवरण बेहतर पूर्वानुमानों की ओर ले जाते हैं, लेकिन यह पहले से स्पष्ट नहीं है कि वे क्या हो सकते हैं। कनिंघम ने उल्लेख किया कि कैसे पावेल कथा संकेत में यूक्रेन पर रूस के 2022 के आक्रमण का उल्लेख शामिल करने से वास्तव में होने वाली तुलना में काफी खराब आर्थिक भविष्यवाणियां हुईं।
"[मॉडल] को यूक्रेन पर आक्रमण के बारे में नहीं पता था, और वह उस जानकारी का उपयोग करता है, और कई बार यह बदतर हो जाता है," उन्होंने कहा। “भविष्यवाणी इसे ध्यान में रखने की कोशिश करती है, और ChatGPT-3.5 बेहद मुद्रास्फीतिकारी हो जाता है [उस महीने जब] रूस ने यूक्रेन पर आक्रमण किया और ऐसा नहीं हुआ।
कनिंघम ने कहा, "अवधारणा के प्रमाण के रूप में, भविष्य की कथा के संकेत के साथ कुछ वास्तविक घटित होता है।" “लेकिन जैसा कि हमने पेपर में कहने की कोशिश की, मुझे नहीं लगता कि [मॉडल के] निर्माता भी इसे समझते हैं। तो यह कैसे पता लगाया जाए कि इसका उपयोग कैसे किया जाए यह स्पष्ट नहीं है और मुझे नहीं पता कि यह वास्तव में कितना हल करने योग्य है। ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
