कोड लिखने में मदद के लिए बड़े भाषा मॉडल (एलएलएम) का उपयोग करने से कोई फर्क नहीं पड़ता, एनवीडिया के सीईओ जेन्सेन हुआंग का मानना है कि भविष्य में, एंटरप्राइज़ सॉफ़्टवेयर कार्य को पूरा करने के लिए एक साथ जुड़े चैट बॉट का एक संग्रह होगा।
उन्होंने अपने जीटीसी के दौरान मंच पर कहा, "यह संभावना नहीं है कि आप इसे स्क्रैच से लिखेंगे या पायथन कोड का एक पूरा समूह या ऐसा कुछ भी लिखेंगे।" प्रधान राग सोमवार। "इसकी बहुत संभावना है कि आप एआई की एक टीम इकट्ठा करें।"
जेन्सेन बताते हैं कि इस एआई टीम में एक मॉडल शामिल हो सकता है जिसे विभिन्न अन्य मॉडलों के अनुरोध को तोड़ने और सौंपने के लिए डिज़ाइन किया गया है। इनमें से कुछ मॉडलों को एसएपी या सर्विस नाउ जैसी व्यावसायिक सेवाओं को समझने के लिए प्रशिक्षित किया जा सकता है, जबकि अन्य वेक्टर डेटाबेस में संग्रहीत डेटा पर संख्यात्मक विश्लेषण कर सकते हैं। फिर इस डेटा को किसी अन्य मॉडल द्वारा संयोजित किया जा सकता है और अंतिम उपयोगकर्ता के सामने प्रस्तुत किया जा सकता है।
"हम हर दिन या आप जानते हैं, एक घंटे के शीर्ष पर एक रिपोर्ट प्राप्त कर सकते हैं जिसका निर्माण योजना, या कुछ पूर्वानुमान, या कुछ ग्राहक चेतावनी, या कुछ बग डेटाबेस या जो कुछ भी होता है, उससे कुछ लेना-देना है," उन्होंने समझाया।
इन सभी मॉडलों को एक साथ जोड़ने के लिए, एनवीडिया डॉकर की किताब से एक पेज निकाल रहा है और एआई के लिए एक कंटेनर रनटाइम बनाया है।
संक्षेप में एनवीडिया इनफरेंस माइक्रोसर्विसेज या एनआईएम नाम से, ये अनिवार्य रूप से कंटेनर छवियां हैं जिनमें दोनों मॉडल शामिल हैं, चाहे वह खुला स्रोत हो या मालिकाना, साथ ही इसे चलाने के लिए आवश्यक सभी निर्भरताएं भी शामिल हैं। इन कंटेनरीकृत मॉडलों को एनवीडिया-त्वरित कुबेरनेट्स नोड्स सहित किसी भी संख्या में रनटाइम पर तैनात किया जा सकता है।
“आप इसे डीजीएक्स क्लाउड नामक हमारे बुनियादी ढांचे पर तैनात कर सकते हैं, या आप इसे प्रेम पर तैनात कर सकते हैं, या आप इसे अपनी इच्छानुसार कहीं भी तैनात कर सकते हैं। एक बार जब आप इसे विकसित कर लेते हैं, तो इसे आप कहीं भी ले जा सकते हैं,” जेन्सेन ने कहा।
बेशक, आपको पहले एनवीडिया के एआई एंटरप्राइज सूट की सदस्यता की आवश्यकता होगी, जो कि $4,500/वर्ष प्रति जीपीयू या क्लाउड में $1/घंटा प्रति जीपीयू पर बिल्कुल सस्ता नहीं है। यह मूल्य निर्धारण रणनीति सामान्य रूप से सघन उच्च प्रदर्शन प्रणालियों को प्रोत्साहित करती प्रतीत होती है क्योंकि इसकी लागत समान होती है चाहे आप L40s पर चल रहे हों या B100s.
यदि GPU त्वरित कार्यभार को कंटेनरीकृत करने का विचार परिचित लगता है, तो यह एनवीडिया के लिए बिल्कुल नया विचार नहीं है। CUDA में तेजी आई है समर्थित वर्षों से डॉकर, पॉडमैन, कंटेनरर्ड, या सीआरआई-ओ समेत विभिन्न प्रकार के कंटेनर रनटाइम पर, और ऐसा नहीं लगता कि एनवीडिया का कंटेनर रनटाइम कहीं जा रहा है।
एनआईएम के पीछे मूल्य प्रस्ताव यह प्रतीत होता है कि एनवीडिया इन मॉडलों की पैकेजिंग और अनुकूलन को संभालेगा ताकि उनके पास सर्वोत्तम प्रदर्शन प्राप्त करने के लिए आवश्यक सीयूडीए, ट्राइटन इनफेरेंस सर्वर, या टेन्सोरआरटी एलएलएम का सही संस्करण हो।
तर्क यह है कि यदि एनवीडिया एक अद्यतन जारी करता है जो नाटकीय रूप से कुछ मॉडल प्रकारों के अनुमान प्रदर्शन को बढ़ाता है, तो उस कार्यक्षमता का लाभ उठाने के लिए नवीनतम एनआईएम छवि को खींचने की आवश्यकता होगी।
हार्डवेयर विशिष्ट मॉडल अनुकूलन के अलावा, एनवीडिया कंटेनरों के बीच लगातार संचार को सक्षम करने पर भी काम कर रहा है, ताकि वे एपीआई कॉल के माध्यम से एक-दूसरे के साथ चैट कर सकें।
जैसा कि हम इसे समझते हैं, आज बाजार में विभिन्न एआई मॉडल द्वारा उपयोग की जाने वाली एपीआई कॉल हमेशा सुसंगत नहीं होती हैं जिसके परिणामस्वरूप कुछ मॉडलों को एक साथ जोड़ना आसान हो जाता है और जबकि अन्य को अतिरिक्त काम की आवश्यकता हो सकती है।
सामान्य प्रयोजन मॉडलों के लिए संस्थागत ज्ञान प्रदान करना
जिस किसी ने भी एआई चैटबॉट का उपयोग किया है, उसे पता होगा कि हालांकि वे आमतौर पर सामान्य ज्ञान के प्रश्नों में बहुत अच्छे होते हैं, लेकिन अस्पष्ट या तकनीकी अनुरोधों के मामले में वे हमेशा सबसे विश्वसनीय नहीं होते हैं।
जेन्सेन ने अपने मुख्य भाषण के दौरान इस तथ्य पर प्रकाश डाला। एनवीडिया के भीतर उपयोग किए गए एक आंतरिक कार्यक्रम के बारे में पूछे जाने पर, मेटा के लामा 2 70बी बड़े भाषा मॉडल ने आश्चर्यजनक रूप से एक असंबंधित शब्द की परिभाषा प्रदान की।
उद्यमों को अपने स्वयं के मॉडल को प्रशिक्षित करने की कोशिश करने के बजाय - कुछ ऐसा जो बहुत सारे जीपीयू बेच देगा लेकिन पता योग्य बाजार को काफी सीमित कर देगा - एनवीडिया ने ग्राहक डेटा और प्रक्रियाओं के साथ अपने एनआईएम को बेहतर बनाने के लिए उपकरण विकसित किए हैं।
“हमारे पास NeMo माइक्रोसर्विसेज नामक एक सेवा है जो आपको डेटा को क्यूरेट करने, डेटा तैयार करने में मदद करती है ताकि आप इस AI को ऑनबोर्ड कर सकें। आप इसे ठीक करते हैं और फिर आप इसकी सुरक्षा करते हैं; फिर आप अन्य उदाहरणों के मुकाबले इसके प्रदर्शन का मूल्यांकन कर सकते हैं," हुआंग ने समझाया।
उन्होंने एनवीडिया की नेमो रिट्रीवर सेवा के बारे में भी बात की, जो उन सूचनाओं को सामने लाने के लिए रिट्रीवल संवर्धित पीढ़ी (आरएजी) का उपयोग करने की अवधारणा पर आधारित है, जिन पर मॉडल को विशेष रूप से प्रशिक्षित नहीं किया गया है।
यहां विचार यह है कि दस्तावेजों, प्रक्रियाओं और अन्य डेटा को एक वेक्टर डेटाबेस में लोड किया जा सकता है जो मॉडल से जुड़ा है। एक क्वेरी के आधार पर, मॉडल उस डेटाबेस को खोज सकता है, पुनर्प्राप्त कर सकता है और प्रासंगिक जानकारी को सारांशित कर सकता है।
RAGs को एकीकृत करने के लिए NIM मॉडल और NeMo रिट्रीवर अब उपलब्ध हैं, जबकि NeMo माइक्रोसर्विसेज शुरुआती पहुंच में है। ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/03/19/nvidia_why_write_code_when/
