आज, सभी उद्योगों के ग्राहक - चाहे वह वित्तीय सेवाएँ, स्वास्थ्य सेवा और जीवन विज्ञान, यात्रा और आतिथ्य, मीडिया और मनोरंजन, दूरसंचार, एक सेवा के रूप में सॉफ्टवेयर (SaaS), और यहां तक ​​कि मालिकाना मॉडल प्रदाता हों - बड़े भाषा मॉडल (एलएलएम) का उपयोग कर रहे हैं। प्रश्न और उत्तर (क्यूएनए) चैटबॉट, खोज इंजन और ज्ञानकोष जैसे एप्लिकेशन बनाएं। इन जनरेटिव ए.आई. एप्लिकेशन का उपयोग न केवल मौजूदा व्यावसायिक प्रक्रियाओं को स्वचालित करने के लिए किया जाता है, बल्कि इन एप्लिकेशन का उपयोग करने वाले ग्राहकों के अनुभव को बदलने की क्षमता भी है। एलएलएम जैसे विषयों में हो रही प्रगति के साथ मिक्सट्रल-8x7बी निर्देश, जैसे आर्किटेक्चर का व्युत्पन्न विशेषज्ञों का मिश्रण (एमओई), ग्राहक लगातार जेनेरिक एआई अनुप्रयोगों के प्रदर्शन और सटीकता में सुधार करने के तरीकों की तलाश कर रहे हैं, साथ ही उन्हें बंद और खुले स्रोत मॉडल की व्यापक रेंज का प्रभावी ढंग से उपयोग करने की अनुमति भी दे रहे हैं।

एलएलएम के आउटपुट की सटीकता और प्रदर्शन को बेहतर बनाने के लिए आमतौर पर कई तकनीकों का उपयोग किया जाता है, जैसे कि फाइन-ट्यूनिंग पैरामीटर कुशल फ़ाइन-ट्यूनिंग (PEFT), मानव प्रतिक्रिया से सुदृढीकरण सीखना (आरएलएचएफ), और प्रदर्शन कर रहे हैं ज्ञान आसवन. हालाँकि, जेनेरिक एआई अनुप्रयोगों का निर्माण करते समय, आप एक वैकल्पिक समाधान का उपयोग कर सकते हैं जो बाहरी ज्ञान के गतिशील समावेश की अनुमति देता है और आपको अपने मौजूदा मूलभूत मॉडल को ठीक करने की आवश्यकता के बिना पीढ़ी के लिए उपयोग की जाने वाली जानकारी को नियंत्रित करने की अनुमति देता है। यह वह जगह है जहां रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) आता है, विशेष रूप से जेनेरिक एआई अनुप्रयोगों के लिए, जैसा कि हमारे द्वारा चर्चा किए गए अधिक महंगे और मजबूत फाइन-ट्यूनिंग विकल्पों के विपरीत है। यदि आप अपने दैनिक कार्यों में जटिल आरएजी अनुप्रयोगों को लागू कर रहे हैं, तो आपको अपने आरएजी सिस्टम के साथ सामान्य चुनौतियों का सामना करना पड़ सकता है जैसे कि गलत पुनर्प्राप्ति, दस्तावेजों का बढ़ता आकार और जटिलता, और संदर्भ का अतिप्रवाह, जो उत्पन्न उत्तरों की गुणवत्ता और विश्वसनीयता को महत्वपूर्ण रूप से प्रभावित कर सकता है। .

यह पोस्ट प्रासंगिक संपीड़न जैसी तकनीकों के अलावा लैंगचेन और पैरेंट दस्तावेज़ रिट्रीवर जैसे उपकरणों का उपयोग करके प्रतिक्रिया सटीकता में सुधार करने के लिए आरएजी पैटर्न पर चर्चा करती है ताकि डेवलपर्स को मौजूदा जेनरेटिव एआई अनुप्रयोगों में सुधार करने में सक्षम बनाया जा सके।

समाधान अवलोकन

इस पोस्ट में, हम मूल दस्तावेज़ रिट्रीवर टूल और प्रासंगिक संपीड़न तकनीक का उपयोग करके अमेज़ॅन सेजमेकर नोटबुक पर RAG QnA सिस्टम का कुशलतापूर्वक निर्माण करने के लिए BGE लार्ज एन एम्बेडिंग मॉडल के साथ संयुक्त मिक्सट्रल-8x7B इंस्ट्रक्ट टेक्स्ट जेनरेशन के उपयोग को प्रदर्शित करते हैं। निम्नलिखित चित्र इस समाधान की वास्तुकला को दर्शाता है।

आप बस कुछ ही क्लिक के साथ इस समाधान को तैनात कर सकते हैं अमेज़न SageMaker जम्पस्टार्ट, एक पूरी तरह से प्रबंधित मंच जो सामग्री लेखन, कोड निर्माण, प्रश्न उत्तर, कॉपी राइटिंग, संक्षेपण, वर्गीकरण और सूचना पुनर्प्राप्ति जैसे विभिन्न उपयोग के मामलों के लिए अत्याधुनिक फाउंडेशन मॉडल प्रदान करता है। यह पूर्व-प्रशिक्षित मॉडलों का एक संग्रह प्रदान करता है जिन्हें आप मशीन लर्निंग (एमएल) अनुप्रयोगों के विकास और तैनाती में तेजी लाते हुए जल्दी और आसानी से तैनात कर सकते हैं। सेजमेकर जंपस्टार्ट के प्रमुख घटकों में से एक मॉडल हब है, जो विभिन्न कार्यों के लिए मिक्सट्राल-8x7बी जैसे पूर्व-प्रशिक्षित मॉडल की एक विशाल सूची प्रदान करता है।

मिक्सट्रल-8x7B एक MoE आर्किटेक्चर का उपयोग करता है। यह आर्किटेक्चर तंत्रिका नेटवर्क के विभिन्न हिस्सों को विभिन्न कार्यों में विशेषज्ञता प्रदान करता है, जिससे कार्यभार को कई विशेषज्ञों के बीच प्रभावी ढंग से विभाजित किया जा सकता है। यह दृष्टिकोण पारंपरिक वास्तुकला की तुलना में बड़े मॉडलों के कुशल प्रशिक्षण और तैनाती को सक्षम बनाता है।

MoE आर्किटेक्चर का एक मुख्य लाभ इसकी स्केलेबिलिटी है। कार्यभार को कई विशेषज्ञों के बीच वितरित करके, MoE मॉडल को बड़े डेटासेट पर प्रशिक्षित किया जा सकता है और समान आकार के पारंपरिक मॉडल की तुलना में बेहतर प्रदर्शन प्राप्त किया जा सकता है। इसके अतिरिक्त, MoE मॉडल अनुमान के दौरान अधिक कुशल हो सकते हैं क्योंकि किसी दिए गए इनपुट के लिए केवल विशेषज्ञों के एक सबसेट को सक्रिय करने की आवश्यकता होती है।

AWS पर Mixtral-8x7B इंस्ट्रक्शन के बारे में अधिक जानकारी के लिए देखें मिक्सट्रल-8x7B अब अमेज़न सेजमेकर जम्पस्टार्ट पर उपलब्ध है. मिक्सट्रल-8x7B मॉडल को बिना किसी प्रतिबंध के उपयोग के लिए अनुमेय अपाचे 2.0 लाइसेंस के तहत उपलब्ध कराया गया है।

इस पोस्ट में, हम चर्चा करते हैं कि आप इसका उपयोग कैसे कर सकते हैं लैंगचैन प्रभावी और अधिक कुशल RAG अनुप्रयोग बनाने के लिए। लैंगचेन एक खुला स्रोत पायथन लाइब्रेरी है जिसे एलएलएम के साथ एप्लिकेशन बनाने के लिए डिज़ाइन किया गया है। यह शक्तिशाली और अनुकूलन योग्य एप्लिकेशन बनाने के लिए एलएलएम को अन्य घटकों, जैसे ज्ञान आधार, पुनर्प्राप्ति प्रणाली और अन्य एआई टूल के साथ संयोजित करने के लिए एक मॉड्यूलर और लचीला ढांचा प्रदान करता है।

हम मिक्सट्रल-8x7बी के साथ सेजमेकर पर एक आरएजी पाइपलाइन का निर्माण कर रहे हैं। हम सेजमेकर नोटबुक पर RAG का उपयोग करके एक कुशल QnA सिस्टम बनाने के लिए BGE लार्ज एन एम्बेडिंग मॉडल के साथ मिक्सट्रल-8x7B इंस्ट्रक्ट टेक्स्ट जेनरेशन मॉडल का उपयोग करते हैं। हम सेजमेकर जम्पस्टार्ट के माध्यम से एलएलएम की तैनाती को प्रदर्शित करने के लिए ml.t3.medium उदाहरण का उपयोग करते हैं, जिसे सेजमेकर-जनरेटेड एपीआई एंडपॉइंट के माध्यम से एक्सेस किया जा सकता है। यह सेटअप लैंगचेन के साथ उन्नत आरएजी तकनीकों की खोज, प्रयोग और अनुकूलन की अनुमति देता है। हम RAG वर्कफ़्लो में FAISS एंबेडिंग स्टोर के एकीकरण का भी वर्णन करते हैं, सिस्टम के प्रदर्शन को बढ़ाने के लिए एंबेडिंग को संग्रहीत करने और पुनर्प्राप्त करने में इसकी भूमिका पर प्रकाश डालते हैं।

हम सेजमेकर नोटबुक का एक संक्षिप्त अवलोकन करते हैं। अधिक विस्तृत और चरण-दर-चरण निर्देशों के लिए, देखें सेजमेकर जम्पस्टार्ट गिटहब रेपो पर मिक्सट्रल के साथ उन्नत आरएजी पैटर्न.

उन्नत RAG पैटर्न की आवश्यकता

उन्नत आरएजी पैटर्न मानव-जैसे पाठ को संसाधित करने, समझने और उत्पन्न करने में एलएलएम की वर्तमान क्षमताओं में सुधार करने के लिए आवश्यक हैं। जैसे-जैसे दस्तावेज़ों का आकार और जटिलता बढ़ती है, दस्तावेज़ के कई पहलुओं को एक ही एम्बेडिंग में प्रस्तुत करने से विशिष्टता का नुकसान हो सकता है। हालाँकि किसी दस्तावेज़ के सामान्य सार को पकड़ना आवश्यक है, लेकिन इसके भीतर के विभिन्न उप-संदर्भों को पहचानना और उनका प्रतिनिधित्व करना भी उतना ही महत्वपूर्ण है। यह एक चुनौती है जिसका सामना आपको बड़े दस्तावेज़ों के साथ काम करते समय अक्सर करना पड़ता है। आरएजी के साथ एक और चुनौती यह है कि पुनर्प्राप्ति के साथ, आप उन विशिष्ट प्रश्नों से अवगत नहीं होते हैं जिन्हें आपका दस्तावेज़ भंडारण सिस्टम अंतर्ग्रहण पर निपटेगा। इससे किसी क्वेरी के लिए सर्वाधिक प्रासंगिक जानकारी पाठ (संदर्भ अतिप्रवाह) के नीचे दब सकती है। विफलता को कम करने और मौजूदा आरएजी आर्किटेक्चर में सुधार करने के लिए, आप पुनर्प्राप्ति त्रुटियों को कम करने, उत्तर की गुणवत्ता बढ़ाने और जटिल प्रश्न प्रबंधन को सक्षम करने के लिए उन्नत आरएजी पैटर्न (मूल दस्तावेज़ पुनर्प्राप्ति और प्रासंगिक संपीड़न) का उपयोग कर सकते हैं।

इस पोस्ट में चर्चा की गई तकनीकों के साथ, आप बाहरी ज्ञान पुनर्प्राप्ति और एकीकरण से जुड़ी प्रमुख चुनौतियों का समाधान कर सकते हैं, जिससे आपका एप्लिकेशन अधिक सटीक और प्रासंगिक रूप से जागरूक प्रतिक्रिया देने में सक्षम हो जाएगा।

निम्नलिखित अनुभागों में, हम पता लगाते हैं कि कैसे मूल दस्तावेज़ पुनःप्राप्तकर्ता और प्रासंगिक संपीड़न हमारे द्वारा चर्चा की गई कुछ समस्याओं से निपटने में आपको मदद मिल सकती है।

मूल दस्तावेज़ पुनःप्राप्तकर्ता

पिछले अनुभाग में, हमने व्यापक दस्तावेजों से निपटने के दौरान आरएजी अनुप्रयोगों के सामने आने वाली चुनौतियों पर प्रकाश डाला। इन चुनौतियों से निपटने के लिए, मूल दस्तावेज़ पुनःप्राप्तकर्ता आने वाले दस्तावेज़ों को इस प्रकार वर्गीकृत और नामित करें मूल दस्तावेज़. ये दस्तावेज़ अपनी व्यापक प्रकृति के लिए पहचाने जाते हैं लेकिन इन्हें एम्बेडिंग के लिए सीधे उनके मूल रूप में उपयोग नहीं किया जाता है। संपूर्ण दस्तावेज़ को एक एम्बेडिंग में संपीड़ित करने के बजाय, मूल दस्तावेज़ पुनर्प्राप्तकर्ता इन मूल दस्तावेज़ों को विच्छेदित करते हैं बाल दस्तावेज़. प्रत्येक चाइल्ड दस्तावेज़ व्यापक मूल दस्तावेज़ से अलग-अलग पहलुओं या विषयों को कैप्चर करता है। इन चाइल्ड सेगमेंट की पहचान के बाद, उनके विशिष्ट विषयगत सार को कैप्चर करते हुए, प्रत्येक को व्यक्तिगत एम्बेडिंग सौंपी जाती है (निम्नलिखित चित्र देखें)। पुनर्प्राप्ति के दौरान, मूल दस्तावेज़ लागू किया जाता है। यह तकनीक एलएलएम को व्यापक परिप्रेक्ष्य प्रदान करते हुए लक्षित लेकिन व्यापक खोज क्षमताएं प्रदान करती है। मूल दस्तावेज़ पुनर्प्राप्तिकर्ता एलएलएम को दोहरा लाभ प्रदान करते हैं: सटीक और प्रासंगिक जानकारी पुनर्प्राप्ति के लिए बाल दस्तावेज़ एम्बेडिंग की विशिष्टता, प्रतिक्रिया पीढ़ी के लिए मूल दस्तावेज़ों के आह्वान के साथ मिलकर, जो एलएलएम के आउटपुट को एक स्तरित और संपूर्ण संदर्भ के साथ समृद्ध करता है।

प्रासंगिक संपीड़न

पहले चर्चा की गई संदर्भ अतिप्रवाह की समस्या का समाधान करने के लिए, आप इसका उपयोग कर सकते हैं प्रासंगिक संपीड़न क्वेरी के संदर्भ के अनुरूप पुनर्प्राप्त दस्तावेज़ों को संपीड़ित और फ़िल्टर करने के लिए, ताकि केवल प्रासंगिक जानकारी ही रखी और संसाधित की जा सके। इसे आरंभिक दस्तावेज़ लाने के लिए एक बेस रिट्रीवर और इन दस्तावेज़ों की सामग्री को कम करके या प्रासंगिकता के आधार पर उन्हें पूरी तरह से बाहर करके परिष्कृत करने के लिए एक दस्तावेज़ कंप्रेसर के संयोजन के माध्यम से प्राप्त किया जाता है, जैसा कि निम्नलिखित चित्र में दिखाया गया है। यह सुव्यवस्थित दृष्टिकोण, प्रासंगिक संपीड़न पुनर्प्राप्ति द्वारा सुगम, जानकारी के एक समूह से केवल आवश्यक चीज़ों को निकालने और उपयोग करने की एक विधि प्रदान करके आरएजी अनुप्रयोग दक्षता को बढ़ाता है। यह सूचना अधिभार और अप्रासंगिक डेटा प्रोसेसिंग के मुद्दे से निपटता है, जिससे बेहतर प्रतिक्रिया गुणवत्ता, अधिक लागत प्रभावी एलएलएम संचालन और एक चिकनी समग्र पुनर्प्राप्ति प्रक्रिया होती है। अनिवार्य रूप से, यह एक फ़िल्टर है जो जानकारी को मौजूदा क्वेरी के अनुरूप बनाता है, जिससे यह बेहतर प्रदर्शन और उपयोगकर्ता संतुष्टि के लिए अपने आरएजी अनुप्रयोगों को अनुकूलित करने का लक्ष्य रखने वाले डेवलपर्स के लिए एक बहुत जरूरी उपकरण बन जाता है।

.. पूर्वापेक्षाएँ

यदि आप सेजमेकर में नए हैं, तो देखें अमेज़ॅन सेजमेकर डेवलपमेंट गाइड.

इससे पहले कि आप समाधान के साथ शुरुआत करें, एक AWS खाता बनाएँ. जब आप एक एडब्ल्यूएस खाता बनाते हैं, तो आपको एक एकल साइन-ऑन (एसएसओ) पहचान मिलती है, जिसकी खाते में सभी एडब्ल्यूएस सेवाओं और संसाधनों तक पूरी पहुंच होती है। इस पहचान को AWS खाता कहा जाता है रूट उपयोगकर्ता.

में साइन इन करना एडब्ल्यूएस प्रबंधन कंसोल खाता बनाने के लिए आपके द्वारा उपयोग किए गए ईमेल पते और पासवर्ड का उपयोग करने से आपको अपने खाते के सभी AWS संसाधनों तक पूर्ण पहुंच प्राप्त होती है। हम दृढ़तापूर्वक अनुशंसा करते हैं कि आप रोजमर्रा के कार्यों, यहां तक ​​कि प्रशासनिक कार्यों के लिए भी रूट उपयोगकर्ता का उपयोग न करें।

इसके बजाय, का पालन करें सुरक्षा सर्वोत्तम अभ्यास in AWS पहचान और अभिगम प्रबंधन (आईएएम), और एक प्रशासनिक उपयोगकर्ता और समूह बनाएँ. फिर रूट उपयोगकर्ता क्रेडेंशियल को सुरक्षित रूप से लॉक करें और उनका उपयोग केवल कुछ खाता और सेवा प्रबंधन कार्यों को करने के लिए करें।

मिक्सट्रल-8x7b मॉडल के लिए ml.g5.48xlarge उदाहरण की आवश्यकता होती है। सेजमेकर जंपस्टार्ट 100 से अधिक विभिन्न ओपन सोर्स और थर्ड-पार्टी फाउंडेशन मॉडल तक पहुंचने और तैनात करने का एक सरल तरीका प्रदान करता है। के लिए सेजमेकर जम्पस्टार्ट से मिक्सट्रल-8x7बी को होस्ट करने के लिए एक एंडपॉइंट लॉन्च करें, आपको एंडपॉइंट उपयोग के लिए ml.g5.48xlarge इंस्टेंस तक पहुंचने के लिए सेवा कोटा बढ़ाने का अनुरोध करने की आवश्यकता हो सकती है। तुम कर सकते हो अनुरोध सेवा कोटा बढ़ता है कंसोल के माध्यम से, AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई), या एपीआई उन अतिरिक्त संसाधनों तक पहुंच की अनुमति देने के लिए।

सेजमेकर नोटबुक इंस्टेंस सेट करें और निर्भरताएँ स्थापित करें

आरंभ करने के लिए, एक सेजमेकर नोटबुक इंस्टेंस बनाएं और आवश्यक निर्भरताएँ स्थापित करें। को देखें गीथहब रेपो एक सफल सेटअप सुनिश्चित करने के लिए. नोटबुक इंस्टेंस सेट करने के बाद, आप मॉडल को तैनात कर सकते हैं।

आप नोटबुक को अपने पसंदीदा एकीकृत विकास परिवेश (आईडीई) पर स्थानीय रूप से भी चला सकते हैं। सुनिश्चित करें कि आपके पास ज्यूपिटर नोटबुक लैब स्थापित है।

मॉडल तैनात करें

सेजमेकर जम्पस्टार्ट पर मिक्सट्रल-8X7B इंस्ट्रक्ट एलएलएम मॉडल तैनात करें:

# Import the JumpStartModel class from the SageMaker JumpStart library
from sagemaker.jumpstart.model import JumpStartModel

# Specify the model ID for the HuggingFace Mixtral 8x7b Instruct LLM model
model_id = "huggingface-llm-mixtral-8x7b-instruct"
model = JumpStartModel(model_id=model_id)
llm_predictor = model.deploy()

सेजमेकर जम्पस्टार्ट पर बीजीई लार्ज एन एम्बेडिंग मॉडल तैनात करें:

# Specify the model ID for the HuggingFace BGE Large EN Embedding model
model_id = "huggingface-sentencesimilarity-bge-large-en"
text_embedding_model = JumpStartModel(model_id=model_id)
embedding_predictor = text_embedding_model.deploy()

लैंगचेन स्थापित करें

सभी आवश्यक लाइब्रेरी आयात करने और मिक्सट्रल-8x7B मॉडल और BGE लार्ज एन एम्बेडिंग मॉडल को तैनात करने के बाद, अब आप लैंगचेन सेट कर सकते हैं। चरण-दर-चरण निर्देशों के लिए, देखें गीथहब रेपो.

डेटा तैयारी

इस पोस्ट में, हम क्यूएनए निष्पादित करने के लिए टेक्स्ट कॉर्पस के रूप में शेयरधारकों को अमेज़ॅन के कई वर्षों के पत्रों का उपयोग करते हैं। डेटा तैयार करने के अधिक विस्तृत चरणों के लिए, देखें गीथहब रेपो.

सवाल जवाब

एक बार डेटा तैयार हो जाने के बाद, आप लैंगचेन द्वारा प्रदान किए गए रैपर का उपयोग कर सकते हैं, जो वेक्टर स्टोर के चारों ओर लपेटता है और एलएलएम के लिए इनपुट लेता है। यह रैपर निम्नलिखित चरण निष्पादित करता है:

1. इनपुट प्रश्न लें.
2. एक प्रश्न एम्बेडिंग बनाएं.
3. प्रासंगिक दस्तावेज़ लाएँ.
4. दस्तावेज़ों और प्रश्न को एक संकेत में शामिल करें।
5. प्रॉम्प्ट के साथ मॉडल का आह्वान करें और पठनीय तरीके से उत्तर तैयार करें।

अब जब वेक्टर स्टोर स्थापित हो गया है, तो आप प्रश्न पूछना शुरू कर सकते हैं:

prompt_template = """<s>[INST]
{query}
[INST]"""
PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["query"]
)
query = "How has AWS evolved?"
answer = wrapper_store_faiss.query(question=PROMPT.format(query=query), llm=llm)
print(answer)
AWS, or Amazon Web Services, has evolved significantly since its initial launch in 2006. It started as a feature-poor service, offering only one instance size, in one data center, in one region of the world, with Linux operating system instances only. There was no monitoring, load balancing, auto-scaling, or persistent storage at the time. However, AWS had a successful launch and has since grown into a multi-billion-dollar service.

Over the years, AWS has added numerous features and services, with over 3,300 new ones launched in 2022 alone. They have expanded their offerings to include Windows, monitoring, load balancing, auto-scaling, and persistent storage. AWS has also made significant investments in long-term inventions that have changed what's possible in technology infrastructure.

One example of this is their investment in chip development. AWS has also seen a robust new customer pipeline and active migrations, with many companies opting to move to AWS for the agility, innovation, cost-efficiency, and security benefits it offers. AWS has transformed how customers, from start-ups to multinational companies to public sector organizations, manage their technology infrastructure.

नियमित रिट्रीवर श्रृंखला

पिछले परिदृश्य में, हमने आपके प्रश्न का संदर्भ-जागरूक उत्तर प्राप्त करने का त्वरित और सीधा तरीका खोजा। अब आइए RetrievalQA की मदद से एक अधिक अनुकूलन योग्य विकल्प देखें, जहां आप अनुकूलित कर सकते हैं कि कैसे लाए गए दस्तावेज़ों को चेन_टाइप पैरामीटर का उपयोग करके प्रॉम्प्ट में जोड़ा जाना चाहिए। साथ ही, यह नियंत्रित करने के लिए कि कितने प्रासंगिक दस्तावेज़ पुनर्प्राप्त किए जाने चाहिए, आप विभिन्न आउटपुट देखने के लिए निम्नलिखित कोड में k पैरामीटर को बदल सकते हैं। कई परिदृश्यों में, आप जानना चाहेंगे कि उत्तर उत्पन्न करने के लिए एलएलएम ने किस स्रोत दस्तावेज़ का उपयोग किया था। आप उन दस्तावेज़ों का उपयोग करके आउटपुट में प्राप्त कर सकते हैं return_source_documents, जो एलएलएम प्रॉम्प्ट के संदर्भ में जोड़े गए दस्तावेज़ लौटाता है। पुनर्प्राप्तिQA आपको एक कस्टम प्रॉम्प्ट टेम्पलेट प्रदान करने की भी अनुमति देता है जो मॉडल के लिए विशिष्ट हो सकता है।

from langchain.chains import RetrievalQA

prompt_template = """<s>[INST]
Use the following pieces of context to provide a concise answer to the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.

{context}

Question: {question}

[INST]"""
PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["context", "question"]
)

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore_faiss.as_retriever(
        search_type="similarity", search_kwargs={"k": 3}
    ),
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

आइए एक प्रश्न पूछें:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) evolved from an initially unprofitable investment to an $85B annual revenue run rate business with strong profitability, offering a wide range of services and features, and becoming a significant part of Amazon's portfolio. Despite facing skepticism and short-term headwinds, AWS continued to innovate, attract new customers, and migrate active customers, offering benefits such as agility, innovation, cost-efficiency, and security. AWS also expanded its long-term investments, including chip development, to provide new capabilities and change what's possible for its customers.

मूल दस्तावेज़ पुनर्प्राप्ति श्रृंखला

आइए इसकी सहायता से अधिक उन्नत RAG विकल्प देखें ParentDocumentRetriever. दस्तावेज़ पुनर्प्राप्ति के साथ काम करते समय, आपको सटीक एम्बेडिंग के लिए दस्तावेज़ के छोटे हिस्सों को संग्रहीत करने और अधिक संदर्भ को संरक्षित करने के लिए बड़े दस्तावेज़ों के बीच व्यापार-बंद का सामना करना पड़ सकता है। मूल दस्तावेज़ रिट्रीवर डेटा के छोटे टुकड़ों को विभाजित और संग्रहीत करके उस संतुलन को बनाता है।

हम एक का उपयोग करें parent_splitter मूल दस्तावेज़ों को बड़े टुकड़ों में विभाजित करना, जिन्हें मूल दस्तावेज़ कहा जाता है और a child_splitter मूल दस्तावेज़ों से छोटे बच्चों के दस्तावेज़ बनाने के लिए:

# This text splitter is used to create the parent documents
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)

# This text splitter is used to create the child documents
# It should create documents smaller than the parent
child_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

# The vectorstore to use to index the child chunks
vectorstore_faiss = FAISS.from_documents(
    child_splitter.split_documents(documents),
    sagemaker_embeddings,
)

फिर चाइल्ड दस्तावेज़ों को एम्बेडिंग का उपयोग करके एक वेक्टर स्टोर में अनुक्रमित किया जाता है। यह समानता के आधार पर प्रासंगिक बाल दस्तावेजों की कुशल पुनर्प्राप्ति को सक्षम बनाता है। प्रासंगिक जानकारी प्राप्त करने के लिए, मूल दस्तावेज़ पुनर्प्राप्ति पहले वेक्टर स्टोर से चाइल्ड दस्तावेज़ प्राप्त करता है। इसके बाद यह उन चाइल्ड दस्तावेज़ों के लिए मूल आईडी खोजता है और संबंधित बड़े मूल दस्तावेज़ लौटाता है।

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

आइए एक प्रश्न पूछें:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) started with a feature-poor initial launch of the Elastic Compute Cloud (EC2) service in 2006, providing only one instance size, in one data center, in one region of the world, with Linux operating system instances only, and without many key features like monitoring, load balancing, auto-scaling, or persistent storage. However, AWS's success allowed them to quickly iterate and add the missing capabilities, eventually expanding to offer various flavors, sizes, and optimizations of compute, storage, and networking, as well as developing their own chips (Graviton) to push price and performance further. AWS's iterative innovation process required significant investments in financial and people resources over 20 years, often well in advance of when it would pay out, to meet customer needs and improve long-term customer experiences, loyalty, and returns for shareholders.

प्रासंगिक संपीड़न श्रृंखला

आइए एक और उन्नत RAG विकल्प देखें जिसे कहा जाता है प्रासंगिक संपीड़न. पुनर्प्राप्ति के साथ एक चुनौती यह है कि आमतौर पर हम यह नहीं जानते हैं कि जब आप सिस्टम में डेटा अंतर्ग्रहण करेंगे तो आपके दस्तावेज़ भंडारण सिस्टम को किन विशिष्ट प्रश्नों का सामना करना पड़ेगा। इसका मतलब यह है कि किसी क्वेरी के लिए सबसे अधिक प्रासंगिक जानकारी बहुत सारे अप्रासंगिक पाठ वाले दस्तावेज़ में छिपी हो सकती है। आपके आवेदन के माध्यम से उस पूर्ण दस्तावेज़ को पारित करने से अधिक महंगी एलएलएम कॉल और खराब प्रतिक्रियाएँ हो सकती हैं।

प्रासंगिक संपीड़न रिट्रीवर दस्तावेज़ भंडारण प्रणाली से प्रासंगिक जानकारी पुनर्प्राप्त करने की चुनौती को संबोधित करता है, जहां प्रासंगिक डेटा बहुत सारे पाठ वाले दस्तावेज़ों के भीतर छिपा हो सकता है। दिए गए क्वेरी संदर्भ के आधार पर पुनर्प्राप्त दस्तावेज़ों को संपीड़ित और फ़िल्टर करके, केवल सबसे प्रासंगिक जानकारी वापस की जाती है।

प्रासंगिक संपीड़न रिट्रीवर का उपयोग करने के लिए, आपको इसकी आवश्यकता होगी:

• एक बेस रिट्रीवर - यह प्रारंभिक रिट्रीवर है जो क्वेरी के आधार पर स्टोरेज सिस्टम से दस्तावेज़ लाता है
• एक दस्तावेज़ कंप्रेसर - यह घटक प्रारंभिक रूप से पुनर्प्राप्त दस्तावेज़ों को लेता है और प्रासंगिकता निर्धारित करने के लिए क्वेरी संदर्भ का उपयोग करके व्यक्तिगत दस्तावेज़ों की सामग्री को कम करके या अप्रासंगिक दस्तावेज़ों को पूरी तरह से हटाकर उन्हें छोटा कर देता है।

एलएलएम चेन एक्सट्रैक्टर के साथ प्रासंगिक संपीड़न जोड़ना

सबसे पहले, अपने बेस रिट्रीवर को एक से लपेटें ContextualCompressionRetriever. आप एक जोड़ देंगे एलएलएमचेनएक्सट्रैक्टर, जो प्रारंभ में लौटाए गए दस्तावेज़ों पर पुनरावृति करेगा और प्रत्येक से केवल वही सामग्री निकालेगा जो क्वेरी के लिए प्रासंगिक है।

from langchain.retrievers import ContextualCompressionRetrieverfrom langchain.retrievers.document_compressors import LLMChainExtractor

text_splitter = RecursiveCharacterTextSplitter(
    # Set a really small chunk size, just to show.
    chunk_size=1000,
    chunk_overlap=100,
)

docs = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(
    docs,
    sagemaker_embeddings,
).as_retriever()

compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.get_relevant_documents(
    "How was Amazon impacted by COVID-19?"
)

का उपयोग करके श्रृंखला आरंभ करें ContextualCompressionRetriever के साथ एक LLMChainExtractor और प्रॉम्प्ट को इसके माध्यम से पास करें chain_type_kwargs तर्क।

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=compression_retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

आइए एक प्रश्न पूछें:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS evolved by starting as a small project inside Amazon, requiring significant capital investment and facing skepticism from both inside and outside the company. However, AWS had a head start on potential competitors and believed in the value it could bring to customers and Amazon. AWS made a long-term commitment to continue investing, resulting in over 3,300 new features and services launched in 2022. AWS has transformed how customers manage their technology infrastructure and has become an $85B annual revenue run rate business with strong profitability. AWS has also continuously improved its offerings, such as enhancing EC2 with additional features and services after its initial launch.

एलएलएम श्रृंखला फ़िल्टर के साथ दस्तावेज़ फ़िल्टर करें

RSI एलएलएमचेनफ़िल्टर थोड़ा सरल लेकिन अधिक मजबूत कंप्रेसर है जो एलएलएम श्रृंखला का उपयोग यह तय करने के लिए करता है कि दस्तावेज़ सामग्री में हेरफेर किए बिना, प्रारंभ में पुनर्प्राप्त किए गए दस्तावेज़ों में से कौन सा फ़िल्टर करना है और कौन सा वापस करना है:

from langchain.retrievers.document_compressors import LLMChainFilter

_filter = LLMChainFilter.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=_filter, base_retriever=retriever
)

compressed_docs = compression_retriever.get_relevant_documents(
    "How was Amazon impacted by COVID-19?"
)
print(compressed_docs)

का उपयोग करके श्रृंखला आरंभ करें ContextualCompressionRetriever के साथ एक LLMChainFilter और प्रॉम्प्ट को इसके माध्यम से पास करें chain_type_kwargs तर्क।

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=compression_retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

आइए एक प्रश्न पूछें:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) evolved by initially launching feature-poor but iterating quickly based on customer feedback to add necessary capabilities. This approach allowed AWS to launch EC2 in 2006 with limited features and then continuously add new functionalities, such as additional instance sizes, data centers, regions, operating system options, monitoring tools, load balancing, auto-scaling, and persistent storage. Over time, AWS transformed from a feature-poor service to a multi-billion-dollar business by focusing on customer needs, agility, innovation, cost-efficiency, and security. AWS now has an $85B annual revenue run rate and offers over 3,300 new features and services each year, catering to a wide range of customers from start-ups to multinational companies and public sector organizations.

परिणामों की तुलना करें

निम्न तालिका तकनीक के आधार पर विभिन्न प्रश्नों के परिणामों की तुलना करती है।

इन विभिन्न तकनीकों की तुलना करने पर, हम देख सकते हैं कि AWS के एक साधारण सेवा से एक जटिल, बहु-अरब डॉलर की इकाई में परिवर्तन का विवरण देने या अमेज़ॅन की रणनीतिक सफलताओं की व्याख्या करने जैसे संदर्भों में, नियमित रिट्रीवर श्रृंखला में अधिक परिष्कृत तकनीकों की पेशकश की सटीकता का अभाव है, जिससे कम लक्षित जानकारी प्राप्त होती है। हालाँकि चर्चा की गई उन्नत तकनीकों के बीच बहुत कम अंतर दिखाई देते हैं, वे नियमित रिट्रीवर श्रृंखलाओं की तुलना में कहीं अधिक जानकारीपूर्ण हैं।

स्वास्थ्य देखभाल, दूरसंचार और वित्तीय सेवाओं जैसे उद्योगों में ग्राहकों के लिए जो अपने अनुप्रयोगों में आरएजी को लागू करना चाहते हैं, सटीकता प्रदान करने, अतिरेक से बचने और जानकारी को प्रभावी ढंग से संपीड़ित करने में नियमित रिट्रीवर श्रृंखला की सीमाएं इन जरूरतों को पूरा करने की तुलना में इसे कम अनुकूल बनाती हैं। अधिक उन्नत मूल दस्तावेज़ पुनर्प्राप्ति और प्रासंगिक संपीड़न तकनीकों के लिए। ये तकनीकें मूल्य-प्रदर्शन को बेहतर बनाने में मदद करते हुए बड़ी मात्रा में जानकारी को केंद्रित, प्रभावशाली अंतर्दृष्टि में परिवर्तित करने में सक्षम हैं जिनकी आपको आवश्यकता है।

क्लीन अप

जब आप नोटबुक चलाना समाप्त कर लें, तो उपयोग में आने वाले संसाधनों के लिए शुल्क के संचय से बचने के लिए अपने द्वारा बनाए गए संसाधनों को हटा दें:

# Delete resources
llm_predictor.delete_model()
llm_predictor.delete_endpoint()
embedding_predictor.delete_model()
embedding_predictor.delete_endpoint()

निष्कर्ष

इस पोस्ट में, हमने एक समाधान प्रस्तुत किया है जो आपको जानकारी को संसाधित करने और उत्पन्न करने के लिए एलएलएम की क्षमता को बढ़ाने के लिए मूल दस्तावेज़ पुनर्प्राप्ति और प्रासंगिक संपीड़न श्रृंखला तकनीकों को लागू करने की अनुमति देता है। हमने सेजमेकर जम्पस्टार्ट के साथ उपलब्ध मिक्सट्राल-8x7बी इंस्ट्रक्ट और बीजीई लार्ज एन मॉडल के साथ इन उन्नत आरएजी तकनीकों का परीक्षण किया। हमने एम्बेडिंग और दस्तावेज़ खंडों के लिए सतत भंडारण का उपयोग करने और एंटरप्राइज़ डेटा स्टोर के साथ एकीकरण का भी पता लगाया।

हमने जिन तकनीकों का प्रदर्शन किया, वे न केवल एलएलएम मॉडल के बाहरी ज्ञान तक पहुंचने और उसे शामिल करने के तरीके को परिष्कृत करती हैं, बल्कि उनके आउटपुट की गुणवत्ता, प्रासंगिकता और दक्षता में भी उल्लेखनीय सुधार करती हैं। बड़े टेक्स्ट कॉर्पोरा से पुनर्प्राप्ति को भाषा निर्माण क्षमताओं के साथ जोड़कर, ये उन्नत आरएजी तकनीकें एलएलएम को अधिक तथ्यात्मक, सुसंगत और संदर्भ-उपयुक्त प्रतिक्रियाएं उत्पन्न करने में सक्षम बनाती हैं, जिससे विभिन्न प्राकृतिक भाषा प्रसंस्करण कार्यों में उनका प्रदर्शन बढ़ता है।

सेजमेकर जम्पस्टार्ट इस समाधान के केंद्र में है। सेजमेकर जम्पस्टार्ट के साथ, आप खुले और बंद स्रोत मॉडल के व्यापक वर्गीकरण तक पहुंच प्राप्त करते हैं, एमएल के साथ शुरुआत करने की प्रक्रिया को सुव्यवस्थित करते हैं और तेजी से प्रयोग और तैनाती को सक्षम करते हैं। इस समाधान का परिनियोजन आरंभ करने के लिए, नोटबुक में नेविगेट करें गीथहब रेपो.

लेखक के बारे में

निथियं विजयेश्वरन AWS में सॉल्यूशन आर्किटेक्ट हैं। उनका फोकस क्षेत्र जेनरेटिव एआई और एडब्ल्यूएस एआई एक्सेलेरेटर है। उनके पास कंप्यूटर विज्ञान और जैव सूचना विज्ञान में स्नातक की डिग्री है। Niithiyn AWS ग्राहकों को कई मोर्चों पर सक्षम बनाने और जेनरेटिव AI को अपनाने में तेजी लाने के लिए जेनरेटिव AI GTM टीम के साथ मिलकर काम करता है। वह डलास मावेरिक्स का शौक़ीन प्रशंसक है और उसे स्नीकर्स इकट्ठा करने में मज़ा आता है।

सेबस्टियन बुस्टिलो AWS में सॉल्यूशन आर्किटेक्ट हैं। वह जेनरेटिव एआई और कंप्यूट एक्सेलेरेटर के प्रति गहन जुनून के साथ एआई/एमएल प्रौद्योगिकियों पर ध्यान केंद्रित करता है। AWS में, वह ग्राहकों को जेनरेटिव AI के माध्यम से व्यावसायिक मूल्य अनलॉक करने में मदद करता है। जब वह काम पर नहीं होता है, तो वह एक बेहतरीन कप विशेष कॉफी बनाने और अपनी पत्नी के साथ दुनिया की खोज करने का आनंद लेता है।

अरमांडो डियाज़ AWS में सॉल्यूशन आर्किटेक्ट हैं। वह जेनरेटिव एआई, एआई/एमएल और डेटा एनालिटिक्स पर ध्यान केंद्रित करता है। AWS में, आर्मंडो ग्राहकों को अपने सिस्टम में अत्याधुनिक जेनरेटिव AI क्षमताओं को एकीकृत करने, नवाचार और प्रतिस्पर्धी लाभ को बढ़ावा देने में मदद करता है। जब वह काम पर नहीं होता है, तो वह अपनी पत्नी और परिवार के साथ समय बिताना, लंबी पैदल यात्रा करना और दुनिया भर की यात्रा करना पसंद करता है।

डॉ फारूक साबिर AWS में एक वरिष्ठ आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। उनके पास ऑस्टिन में टेक्सास विश्वविद्यालय से इलेक्ट्रिकल इंजीनियरिंग में पीएचडी और एमएस की डिग्री है और जॉर्जिया इंस्टीट्यूट ऑफ टेक्नोलॉजी से कंप्यूटर साइंस में एमएस है। उनके पास 15 साल से अधिक का कार्य अनुभव है और वह कॉलेज के छात्रों को पढ़ाना और सलाह देना भी पसंद करते हैं। AWS में, वह ग्राहकों को डेटा साइंस, मशीन लर्निंग, कंप्यूटर विज़न, आर्टिफिशियल इंटेलिजेंस, न्यूमेरिकल ऑप्टिमाइज़ेशन और संबंधित डोमेन में उनकी व्यावसायिक समस्याओं को तैयार करने और हल करने में मदद करता है। डलास, टेक्सास में स्थित, वह और उसका परिवार यात्रा करना और लंबी सड़क यात्राओं पर जाना पसंद करते हैं।

मार्को पूनियो एक सॉल्यूशन आर्किटेक्ट है जो जेनरेटिव एआई रणनीति, एप्लाइड एआई समाधानों और एडब्ल्यूएस पर ग्राहकों को हाइपर-स्केल में मदद करने के लिए अनुसंधान करने पर केंद्रित है। मार्को एक डिजिटल नेटिव क्लाउड सलाहकार है जिसके पास फिनटेक, हेल्थकेयर और लाइफ साइंसेज, सॉफ्टवेयर-ए-ए-सर्विस और हाल ही में दूरसंचार उद्योगों में अनुभव है। वह मशीन लर्निंग, आर्टिफिशियल इंटेलिजेंस और विलय एवं अधिग्रहण के जुनून के साथ एक योग्य प्रौद्योगिकीविद् हैं। मार्को सिएटल, वाशिंगटन में स्थित है और अपने खाली समय में लिखना, पढ़ना, व्यायाम करना और एप्लिकेशन बनाना पसंद करता है।

ए जे धीमिन AWS में सॉल्यूशन आर्किटेक्ट हैं। वह जेनरेटिव एआई, सर्वरलेस कंप्यूटिंग और डेटा एनालिटिक्स में माहिर हैं। वह मशीन लर्निंग टेक्निकल फील्ड कम्युनिटी में एक सक्रिय सदस्य/संरक्षक हैं और उन्होंने विभिन्न एआई/एमएल विषयों पर कई वैज्ञानिक पत्र प्रकाशित किए हैं। वह AWSome जेनरेटिव AI समाधान विकसित करने के लिए स्टार्ट-अप से लेकर उद्यमों तक के ग्राहकों के साथ काम करता है। वह विशेष रूप से उन्नत डेटा विश्लेषण के लिए बड़े भाषा मॉडल का लाभ उठाने और वास्तविक दुनिया की चुनौतियों का समाधान करने वाले व्यावहारिक अनुप्रयोगों की खोज करने के बारे में भावुक हैं। काम के अलावा, एजे को यात्रा करना पसंद है, और वर्तमान में वह दुनिया के हर देश का दौरा करने के लक्ष्य के साथ 53 देशों में है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/advanced-rag-patterns-on-amazon-sagemaker/