2023 एक व्यस्त वर्ष रहा अमेज़न ओपन सर्च सर्विस! ओपनसर्च सेवा द्वारा लॉन्च की गई रिलीज़ों के बारे में और जानें 2023 की पहली छमाही.
2023 की दूसरी छमाही में, ओपनसर्च सेवा ने दो नए का समर्थन जोड़ा OpenSearch संस्करण: 2.9 और 2.11 ये दो संस्करण खोज स्थान, मशीन लर्निंग (एमएल) खोज स्थान, माइग्रेशन और सेवा के परिचालन पक्ष में नई सुविधाएँ पेश करते हैं।
शून्य-ईटीएल एकीकरण के जारी होने के साथ अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3), आप डैशबोर्ड बनाने और अमेज़ॅन एस3 से अपने डेटा को स्थानांतरित करने की आवश्यकता के बिना डेटा को क्वेरी करने के लिए ओपनसर्च सेवा का उपयोग करके अपने डेटा लेक में बैठे अपने डेटा का विश्लेषण कर सकते हैं।
ओपनसर्च सेवा ने एक नए शून्य-ईटीएल एकीकरण की भी घोषणा की अमेज़ॅन डायनेमोडीबी DynamoDB प्लगइन के माध्यम से Amazon OpenSearch अंतर्ग्रहण. OpenSearch Ingestion बूटस्ट्रैपिंग का ध्यान रखता है और आपके DynamoDB स्रोत से लगातार डेटा स्ट्रीम करता है।
ओपनसर्च सर्वरलेस ने इसकी सामान्य उपलब्धता की घोषणा की अमेज़ॅन ओपनसर्च सर्वरलेस के लिए वेक्टर इंजन समय श्रृंखला संग्रह के साथ आपके अनुभव को बढ़ाने, विकास परिवेशों के लिए अपनी लागत का प्रबंधन करने और अपने कार्यभार की मांगों से मेल खाने के लिए अपने संसाधनों को त्वरित रूप से बढ़ाने के लिए अन्य सुविधाओं के साथ।
इस पोस्ट में, हम आपके व्यवसाय को खोज, अवलोकन, सुरक्षा विश्लेषण और माइग्रेशन के साथ सशक्त बनाने के लिए ओपनसर्च सेवा में नई रिलीज़ पर चर्चा करते हैं।
ओपनसर्च सेवा के साथ लागत प्रभावी समाधान बनाएं
अमेज़ॅन एस3 के लिए शून्य-ईटीएल एकीकरण के साथ, ओपनसर्च सेवा अब आपको अपने डेटा को उसी स्थान पर क्वेरी करने की सुविधा देती है, जिससे भंडारण पर लागत बचती है। डेटा संचलन एक महंगा ऑपरेशन है क्योंकि आपको विभिन्न डेटा स्टोरों में डेटा को दोहराने की आवश्यकता होती है। इससे आपका डेटा फ़ुटप्रिंट बढ़ता है और लागत बढ़ती है। डेटा स्थानांतरित करने से डेटा को एक स्रोत से नए गंतव्य तक स्थानांतरित करने के लिए पाइपलाइनों के प्रबंधन का ओवरहेड भी जुड़ जाता है।
ओपनसर्च सेवा ने आपके बुनियादी ढांचे की लागत को और अधिक अनुकूलित करने में मदद करने के लिए डेटा नोड्स-Im4gn और OR1- के लिए नए इंस्टेंस प्रकार भी जोड़े हैं। अधिकतम 30 टीबी गैर-वाष्पशील मेमोरी (एनवीएमई) सॉलिड स्टेट ड्राइव (एसएसडी) के साथ, Im4gn इंस्टेंस सघन भंडारण और बेहतर प्रदर्शन प्रदान करता है। OR1 उदाहरण अनुक्रमण-भारी कार्यभार के लिए थ्रूपुट को बढ़ाने के लिए सेगमेंट प्रतिकृति और रिमोट-समर्थित स्टोरेज का उपयोग करते हैं।
DynamoDB से OpenSearch सेवा तक जीरो-ईटीएल
नवंबर 2023 में, DynamoDB और OpenSearch Ingestion ने OpenSearch सेवा के लिए शून्य-ETL एकीकरण पेश किया। ओपनसर्च सेवा डोमेन और ओपनसर्च सर्वर रहित संग्रह आपके डायनेमोडीबी डेटा पर पूर्ण-पाठ और वेक्टर खोज जैसी उन्नत खोज क्षमताएं प्रदान करते हैं। पर कुछ क्लिक के साथ एडब्ल्यूएस प्रबंधन कंसोल, अब आप अपने डेटा को DynamoDB से OpenSearch सेवा में निर्बाध रूप से लोड और सिंक्रोनाइज़ कर सकते हैं, जिससे डेटा को निकालने, बदलने और लोड करने के लिए कस्टम कोड लिखने की आवश्यकता समाप्त हो जाती है।
सीधी क्वेरी (पूर्वावलोकन में अमेज़न S3 डेटा के लिए शून्य-ईटीएल)
ओपनसर्च सेवा ने आपके लिए परिचालन डेटा का विश्लेषण करने के लिए टूल के बीच स्विच करने की आवश्यकता के बिना अमेज़ॅन एस 3 और एस 3-आधारित डेटा झीलों में परिचालन लॉग को क्वेरी करने के लिए एक नए तरीके की घोषणा की है। पहले, आपको अपने डेटा को समझने, विसंगतियों की पहचान करने और संभावित खतरों का पता लगाने के लिए ओपनसर्च की समृद्ध एनालिटिक्स और विज़ुअलाइज़ेशन सुविधाओं का लाभ उठाने के लिए अमेज़ॅन एस 3 से डेटा को ओपनसर्च सेवा में कॉपी करना पड़ता था।
हालाँकि, सेवाओं के बीच लगातार डेटा की प्रतिकृति बनाना महंगा हो सकता है और इसके लिए परिचालन कार्य की आवश्यकता होती है। ओपनसर्च सेवा प्रत्यक्ष क्वेरी सुविधा के साथ, आप डेटा को स्थानांतरित करने की आवश्यकता के बिना, अमेज़ॅन एस 3 में संग्रहीत परिचालन लॉग डेटा तक पहुंच सकते हैं। अब आप बिना किसी डेटा मूवमेंट के अपने डेटा पर जटिल क्वेरीज़ और विज़ुअलाइज़ेशन कर सकते हैं।
OpenSearch सेवा के साथ Im4gn का समर्थन
Im4gn इंस्टेंसेस को वर्कलोड के लिए अनुकूलित किया गया है जो बड़े डेटासेट का प्रबंधन करते हैं और प्रति वीसीपीयू उच्च भंडारण घनत्व की आवश्यकता होती है। Im4gn इंस्टेंसेस 16xबड़े आकार में आते हैं, NVMe SSD डिस्क आकार में 30 टीबी तक। Im4gn इंस्टेंसेस पर बनाए गए हैं एडब्ल्यूएस नाइट्रो सिस्टम एसएसडी, जो सर्वोत्तम प्रदर्शन के लिए उच्च-थ्रूपुट, कम-विलंबता डिस्क एक्सेस प्रदान करते हैं। OpenSearch Service Im4gn इंस्टेंसेस सभी OpenSearch संस्करणों और Elasticsearch संस्करणों 7.9 और उससे ऊपर का समर्थन करते हैं। अधिक जानकारी के लिए देखें Amazon OpenSearch सेवा में समर्थित इंस्टेंस प्रकार.
पेश है OR1, भारी कार्यभार को अनुक्रमित करने के लिए एक ओपनसर्च अनुकूलित इंस्टेंस परिवार
नवंबर 2023 में, ओपनसर्च सेवा लॉन्च की गई OR1, ओपनसर्च अनुकूलित इंस्टेंस परिवार, जो आंतरिक बेंचमार्क में मौजूदा उदाहरणों की तुलना में 30% तक मूल्य-प्रदर्शन सुधार प्रदान करता है और 3 11s स्थायित्व प्रदान करने के लिए अमेज़ॅन एस 9 का उपयोग करता है। OR1 इंस्टेंसेस वाला एक डोमेन उपयोग करता है अमेज़न इलास्टिक ब्लॉक स्टोर (अमेज़ॅन ईबीएस) प्राथमिक भंडारण के लिए वॉल्यूम, जैसे ही डेटा आता है उसे अमेज़ॅन एस3 में सिंक्रोनाइज़ किया जाता है। OR1 इंस्टेंसेस OpenSearch का उपयोग करते हैं खंड प्रतिकृति सुविधा प्रतिकृति शार्ड को अमेज़ॅन S3 से सीधे डेटा पढ़ने में सक्षम करने के लिए, प्राथमिक और प्रतिकृति शार्ड दोनों में अनुक्रमण की संसाधन लागत से बचने के लिए। OR1 इंस्टेंस परिवार विफलता की स्थिति में स्वचालित डेटा पुनर्प्राप्ति का भी समर्थन करता है। OR1 इंस्टेंस प्रकार विकल्पों के बारे में अधिक जानकारी के लिए, देखें वर्तमान पीढ़ी के उदाहरण प्रकार ओपनसर्च सेवा में.
सुरक्षा विश्लेषण सुविधाओं के साथ अपने व्यवसाय को सक्षम करें
ओपनसर्च सर्विस में सिक्योरिटी एनालिटिक्स प्लगइन आउट-ऑफ-द-बॉक्स का समर्थन करता है प्रीपैकेज्ड लॉग प्रकार और संभावित सुरक्षा घटनाओं का पता लगाने के लिए सुरक्षा पहचान नियम (SIGMA नियम) प्रदान करता है।
ओपनसर्च 2.9 में, सिक्योरिटी एनालिटिक्स प्लगइन ने ग्राहक लॉग प्रकारों और मूल समर्थन के लिए समर्थन जोड़ा साइबर सुरक्षा स्कीमा फ्रेमवर्क खोलें (ओसीएसएफ) डेटा स्वरूप। इस नए समर्थन के साथ, आप संग्रहीत OCSF डेटा के साथ डिटेक्टर बना सकते हैं अमेज़न सुरक्षा झील सुरक्षा निष्कर्षों का विश्लेषण करने और किसी भी संभावित घटना को कम करने के लिए। सिक्योरिटी एनालिटिक्स प्लगइन ने आपके स्वयं के कस्टम लॉग प्रकार बनाने और कस्टम डिटेक्शन नियम बनाने की संभावना भी जोड़ी है।
एमएल-संचालित खोज समाधान बनाएं
2023 में, ओपनसर्च सेवा ने अगली पीढ़ी के खोज अनुप्रयोगों के निर्माण के लिए आवश्यक भारी भारोत्तोलन को खत्म करने में निवेश किया। खोज पाइपलाइन, खोज प्रोसेसर और एआई/एमएल कनेक्टर जैसी सुविधाओं के साथ, ओपनसर्च सेवा ने तंत्रिका खोज, हाइब्रिड खोज और वैयक्तिकृत परिणामों द्वारा संचालित खोज अनुप्रयोगों के तेजी से विकास को सक्षम किया। इसके अतिरिक्त, केएनएन प्लगइन में सुधार से वेक्टर डेटा के भंडारण और पुनर्प्राप्ति में सुधार हुआ। ओपनसर्च सेवा के लिए नए लॉन्च किए गए वैकल्पिक प्लगइन्स अतिरिक्त भाषा विश्लेषकों के साथ सहज एकीकरण को सक्षम करते हैं अमेज़न निजीकृत.
पाइपलाइन खोजें
पाइपलाइन खोजें खोज क्वेरी को बढ़ाने और खोज परिणामों को बेहतर बनाने के नए तरीके प्रदान करें। आप एक खोज पाइपलाइन परिभाषित करते हैं और फिर उस पर अपने प्रश्न भेजते हैं। जब आप खोज पाइपलाइन को परिभाषित करते हैं, तो आप निर्दिष्ट करते हैं प्रोसेसर जो आपके प्रश्नों को रूपांतरित और संवर्धित करता है, और आपके परिणामों को पुनः रैंक करता है। पूर्वनिर्मित क्वेरी प्रोसेसर में दिनांक रूपांतरण, एकत्रीकरण, स्ट्रिंग हेरफेर और डेटा प्रकार रूपांतरण शामिल हैं। खोज पाइपलाइन में परिणाम प्रोसेसर अगले चरण में प्रस्तुत करने से पहले तुरंत परिणामों को रोकता है और अनुकूलित करता है। पाइपलाइन के लिए अनुरोध और प्रतिक्रिया प्रसंस्करण दोनों समन्वयक नोड पर किए जाते हैं, इसलिए कोई शार्ड-स्तरीय प्रसंस्करण नहीं होता है।
वैकल्पिक प्लगइन्स
ओपनसर्च सेवा आपको पूर्वस्थापित संबद्ध करने की सुविधा देती है वैकल्पिक ओपनसर्च प्लगइन्स अपने डोमेन के साथ उपयोग करने के लिए. एक वैकल्पिक प्लगइन पैकेज एक विशिष्ट ओपनसर्च संस्करण के साथ संगत है, और केवल उस संस्करण वाले डोमेन से जुड़ा हो सकता है। उपलब्ध प्लगइन्स सूचीबद्ध हैं संकुल ओपनसर्च सर्विस कंसोल पर पेज। वैकल्पिक प्लगइन में अमेज़ॅन पर्सनलाइज़ प्लगइन शामिल है, जो अमेज़ॅन पर्सनलाइज़ के साथ ओपनसर्च सेवा को एकीकृत करता है, और नोरी, सुदाची, एसटीसीनवर्ट और पिनयिन जैसे नए भाषा विश्लेषक शामिल हैं।
नए भाषा विश्लेषकों के लिए समर्थन
ओपनसर्च सेवा ने चार नए के लिए समर्थन जोड़ा भाषा विश्लेषक प्लगइन्स: नोरी (कोरियाई), सुदाची (जापानी), पिनयिन (चीनी), और STConvert विश्लेषण (चीनी)। ये सभी AWS क्षेत्रों में वैकल्पिक प्लगइन्स के रूप में उपलब्ध हैं जिन्हें आप किसी भी OpenSearch संस्करण को चलाने वाले डोमेन के साथ जोड़ सकते हैं। आप इसका उपयोग कर सकते हैं संकुल इन प्लगइन्स को अपने डोमेन से संबद्ध करने के लिए ओपनसर्च सर्विस कंसोल पर पेज बनाएं, या एसोसिएट पैकेज एपीआई का उपयोग करें।
तंत्रिका खोज सुविधा
तंत्रिका खोज आम तौर पर ओपनसर्च सेवा संस्करण 2.9 और बाद के संस्करण के साथ उपलब्ध है। तंत्रिका खोज आपको एमएल मॉडल के साथ एकीकृत करने की अनुमति देती है जो मॉडल सर्विंग फ्रेमवर्क का उपयोग करके दूरस्थ रूप से होस्ट किए जाते हैं। जब आप खोज के दौरान एक तंत्रिका क्वेरी का उपयोग करते हैं, तो तंत्रिका खोज क्वेरी टेक्स्ट को वेक्टर एम्बेडिंग में परिवर्तित करती है, क्वेरी और दस्तावेज़ एम्बेडिंग की तुलना करने के लिए वेक्टर खोज का उपयोग करती है, और निकटतम परिणाम लौटाती है। अंतर्ग्रहण के दौरान, तंत्रिका खोज दस्तावेज़ टेक्स्ट को वेक्टर एम्बेडिंग में बदल देती है और टेक्स्ट और उसके वेक्टर एम्बेडिंग दोनों को एक वेक्टर इंडेक्स में अनुक्रमित करती है।
अमेज़ॅन पर्सनलाइज़ के साथ एकीकरण
ओपनसर्च सेवा ने ओपनसर्च संस्करण 2.9 या बाद के संस्करण में अमेज़ॅन पर्सनलाइज़ के साथ एकीकृत करने के लिए एक वैकल्पिक प्लगइन पेश किया। अमेज़ॅन पर्सनलाइज़ सर्च रैंकिंग के लिए ओपनसर्च सर्विस प्लगइन आपको अमेज़ॅन पर्सनलाइज़ द्वारा दी गई गहन शिक्षण क्षमताओं का लाभ उठाकर अपनी वेबसाइट और एप्लिकेशन खोज से अंतिम-उपयोगकर्ता जुड़ाव और रूपांतरण में सुधार करने की अनुमति देता है। एक वैकल्पिक प्लगइन के रूप में, पैकेज ओपनसर्च संस्करण 2.9 या उसके बाद के संस्करण के साथ संगत है, और केवल उस संस्करण वाले डोमेन से संबद्ध किया जा सकता है।
OpenSearch के k-NN FAISS के साथ कुशल क्वेरी फ़िल्टरिंग
ओपनसर्च सेवा ने 2.9 और बाद के संस्करण में ओपनसर्च के k-NN FAISS के साथ कुशल क्वेरी फ़िल्टरिंग की शुरुआत की। ओपन सर्च कुशल वेक्टर क्वेरी फ़िल्टर क्षमता सटीक और कम-विलंबता वेक्टर खोज क्वेरी प्रदान करने के लिए सर्वोत्तम रणनीति निर्धारित करने के लिए इष्टतम फ़िल्टरिंग रणनीतियों का बुद्धिमानी से मूल्यांकन करती है - अनुमानित निकटतम पड़ोसी (एएनएन) के साथ पूर्व-फ़िल्टरिंग या सटीक के-निकटतम पड़ोसी (के-एनएन) के साथ फ़िल्टरिंग। पहले के ओपनसर्च संस्करणों में, FAISS इंजन पर वेक्टर क्वेरीज़ में पोस्ट-फ़िल्टरिंग तकनीकों का उपयोग किया जाता था, जो बड़े पैमाने पर फ़िल्टर की गई क्वेरी को सक्षम करता था, लेकिन संभावित रूप से अनुरोधित "k" संख्या से कम परिणाम देता था। कुशल वेक्टर क्वेरी फ़िल्टर कम विलंबता और सटीक परिणाम प्रदान करें, आपको वेक्टर और लेक्सिकल तकनीकों में हाइब्रिड खोज को नियोजित करने में सक्षम बनाता है।
ओपनसर्च सेवा में बाइट-क्वांटाइज़्ड वैक्टर
नए के साथ बाइट-क्वांटाइज़्ड वेक्टर 2.9 के साथ पेश किए गए, आप मेमोरी आवश्यकताओं को 4 के कारक से कम कर सकते हैं और गुणवत्ता (रिकॉल) में न्यूनतम हानि के साथ खोज विलंबता को काफी कम कर सकते हैं। इस सुविधा के साथ, वेक्टर के लिए उपयोग किए जाने वाले सामान्य 32-बिट फ़्लोट को परिमाणित किया जाता है या 8-बिट हस्ताक्षरित पूर्णांक में परिवर्तित किया जाता है। कई अनुप्रयोगों के लिए, मौजूदा फ्लोट वेक्टर डेटा को गुणवत्ता में थोड़ी हानि के साथ परिमाणित किया जा सकता है। बेंचमार्क की तुलना करने पर, आप पाएंगे कि 32-बिट फ्लोट्स के बजाय बाइट वैक्टर का उपयोग करने से स्टोरेज और मेमोरी उपयोग में उल्लेखनीय कमी आती है, साथ ही इंडेक्सिंग थ्रूपुट में सुधार होता है और क्वेरी विलंबता कम होती है। एक आंतरिक बेंचमार्क दिखाया गया कि स्टोरेज उपयोग 78% तक कम हो गया था, और रैम उपयोग 59% तक कम हो गया था (ग्लव-200-कोणीय डेटासेट के लिए)। कोणीय डेटासेट के लिए स्मरण मान यूक्लिडियन डेटासेट की तुलना में कम थे।
एआई/एमएल कनेक्टर
ओपनसर्च 2.9 और बाद का संस्करण समर्थन करता है एमएल मॉडल के साथ एकीकरण AWS सेवाओं या तृतीय-पक्ष प्लेटफ़ॉर्म पर होस्ट किया गया। यह सिस्टम प्रशासकों और डेटा वैज्ञानिकों को उनके ओपनसर्च सेवा डोमेन के बाहर एमएल वर्कलोड चलाने की अनुमति देता है। एमएल कनेक्टर एमएल ब्लूप्रिंट के एक समर्थित सेट के साथ आते हैं - टेम्प्लेट जो किसी विशिष्ट कनेक्टर को एपीआई अनुरोध भेजते समय आपके द्वारा प्रदान किए जाने वाले मापदंडों के सेट को परिभाषित करते हैं। ओपनसर्च सेवा कई प्लेटफार्मों के लिए कनेक्टर प्रदान करती है, जैसे अमेज़ॅन सेजमेकर, अमेज़ॅन बेडरॉक, ओपनएआई चैटजीपीटी, तथा यहाँ रहो.
ओपनसर्च सेवा कंसोल एकीकरण
ओपनसर्च 2.9 और बाद में कंसोल पर एक नई एकीकरण सुविधा जोड़ी गई। एकीकरण आपको एक प्रदान करता है एडब्ल्यूएस CloudFormation अपना निर्माण करने के लिए टेम्पलेट शब्दार्थ खोज सेजमेकर या अमेज़ॅन बेडरॉक पर होस्ट किए गए अपने एमएल मॉडल से कनेक्ट करके केस का उपयोग करें। क्लाउडफॉर्मेशन टेम्प्लेट मॉडल एंडपॉइंट उत्पन्न करता है और आपके द्वारा टेम्प्लेट में इनपुट के रूप में प्रदान किए गए ओपनसर्च सर्विस डोमेन के साथ मॉडल आईडी को पंजीकृत करता है।
हाइब्रिड खोज और सीमा सामान्यीकरण
RSI सामान्यीकरण प्रोसेसर और हाइब्रिड क्वेरी 2023 में पहले जारी की गई दो सुविधाओं के शीर्ष पर निर्मित-तंत्रिका खोज और पाइपलाइन खोजें. चूँकि शाब्दिक और अर्थ संबंधी प्रश्न अलग-अलग पैमानों पर प्रासंगिकता स्कोर लौटाते हैं, इसलिए हाइब्रिड खोज प्रश्नों को ठीक करना मुश्किल था।
ओपनसर्च सेवा 2.11 अब हाइब्रिड खोज के लिए संयोजन और सामान्यीकरण प्रोसेसर का समर्थन करती है। अब आप शाब्दिक और प्राकृतिक भाषा-आधारित के-एनएन वेक्टर खोज क्वेरी को मिलाकर हाइब्रिड खोज क्वेरी कर सकते हैं। ओपनसर्च सेवा आपको एकाधिक स्कोरिंग संयोजन और सामान्यीकरण तकनीकों का उपयोग करके अधिकतम प्रासंगिकता के लिए अपने हाइब्रिड खोज परिणामों को ट्यून करने में भी सक्षम बनाती है।
अमेज़ॅन बेडरॉक के साथ मल्टीमॉडल खोज
ओपनसर्च सेवा 2.11 ने मल्टीमॉडल खोज का समर्थन लॉन्च किया है जो आपको मल्टीमॉडल एम्बेडिंग मॉडल का उपयोग करके टेक्स्ट और छवि डेटा खोजने की अनुमति देता है। वेक्टर एम्बेडिंग उत्पन्न करने के लिए, आपको एक इनजेस्ट पाइपलाइन बनाने की आवश्यकता है जिसमें a text_image_embedding प्रोसेसर, जो दस्तावेज़ फ़ील्ड में टेक्स्ट या छवि बायनेरिज़ को वेक्टर एम्बेडिंग में परिवर्तित करता है। आप या तो न्यूरल क्वेरी क्लॉज का उपयोग कर सकते हैं के-एनएन प्लगइन एपीआई or डीएसएल क्वेरी करें क्वेरीज़, पाठ और छवियों का संयोजन करने के लिए खोजें। मल्टीमॉडल खोज को शीघ्रता से शुरू करने के लिए आप नई ओपनसर्च सेवा एकीकरण सुविधाओं का उपयोग कर सकते हैं।
तंत्रिका विरल पुनर्प्राप्ति
तंत्रिका विरल खोज, सिमेंटिक पुनर्प्राप्ति की एक नई कुशल विधि, ओपनसर्च सेवा 2.11 में उपलब्ध है। तंत्रिका विरल खोज दो मोड में संचालित होती है: द्वि-एनकोडर और केवल दस्तावेज़। द्वि-एनकोडर मोड के साथ, दस्तावेज़ और खोज क्वेरी दोनों को गहरे एनकोडर के माध्यम से पारित किया जाता है। केवल-दस्तावेज़ मोड में, केवल दस्तावेज़ों को गहरे एनकोडर के माध्यम से पारित किया जाता है, जबकि खोज क्वेरी को टोकन किया जाता है। एक दस्तावेज़-केवल विरल एनकोडर एक सूचकांक उत्पन्न करता है जो घने एन्कोडिंग सूचकांक के आकार का 10.4% है। एक द्वि-एनकोडर के लिए, सूचकांक का आकार सघन एन्कोडिंग सूचकांक के आकार का 7.2% है। तंत्रिका विरल खोज को विरल एन्कोडिंग मॉडल द्वारा सक्षम किया जाता है जो विरल वेक्टर एम्बेडिंग बनाते हैं: का एक सेट <token: weight> विरल वेक्टर में पाठ प्रविष्टि और उसके संबंधित वजन का प्रतिनिधित्व करने वाले जोड़े। विरल तंत्रिका खोज के लिए पूर्व-प्रशिक्षित मॉडल के बारे में अधिक जानने के लिए, देखें विरल एन्कोडिंग मॉडल.
तंत्रिका विरल खोज लागत कम करती है, खोज प्रासंगिकता में सुधार करती है और विलंबता कम करती है। आप तंत्रिका विरल खोज को शीघ्रता से शुरू करने के लिए नई ओपनसर्च सेवा एकीकरण सुविधाओं का उपयोग कर सकते हैं।
OpenSearch अंतर्ग्रहण अद्यतन
ओपन सर्च अंतर्ग्रहण एक पूरी तरह से प्रबंधित और ऑटो स्केल्ड अंतर्ग्रहण पाइपलाइन है जो आपके डेटा को ओपनसर्च सेवा डोमेन और ओपनसर्च सर्वर रहित संग्रह तक पहुंचाती है। 2023 में रिलीज़ होने के बाद से, OpenSearch Ingestion आपके डेटा को बदलना और स्थानांतरित करना आसान बनाने के लिए नई सुविधाएँ जोड़ना जारी रखता है। समर्थित स्रोत ओपनसर्च सर्विस, ओपनसर्च सर्वरलेस और अमेज़ॅन एस3 जैसे डाउनस्ट्रीम गंतव्यों के लिए।
OpenSearch Ingestion में नई माइग्रेशन सुविधाएँ
नवंबर 2023 में, OpenSearch Ingestion ने स्व-प्रबंधित Elasticsearch संस्करण 7.x डोमेन से OpenSearch सेवा के नवीनतम संस्करणों में डेटा माइग्रेशन का समर्थन करने के लिए नई सुविधाओं को जारी करने की घोषणा की।
OpenSearch Ingestion OpenSearch संस्करण 2.x पर चलने वाले OpenSearch सेवा प्रबंधित डोमेन से OpenSearch सर्वर रहित संग्रह में डेटा के माइग्रेशन का भी समर्थन करता है।
जानें कि आप OpenSearch Ingestion का उपयोग कैसे कर सकते हैं अपने डेटा को OpenSearch सेवा पर माइग्रेट करें.
OpenSearch Ingestion के साथ डेटा स्थायित्व में सुधार करें
नवंबर 2023 में, OpenSearch Ingestion ने पुश-आधारित स्रोतों जैसे HTTP स्रोतों (HTTP, फ़्लुएंटडी, फ़्लुएंटबिट) और ओपनटेलीमेट्री कलेक्टरों के लिए लगातार बफरिंग की शुरुआत की।
डिफ़ॉल्ट रूप से, OpenSearch Ingestion इन-मेमोरी बफ़रिंग का उपयोग करता है। लगातार बफ़रिंग के साथ, OpenSearch Ingestion आपके डेटा को एक डिस्क-आधारित स्टोर में संग्रहीत करता है जो अधिक लचीला है। यदि आपके पास मौजूदा अंतर्ग्रहण पाइपलाइन हैं, तो आप इन पाइपलाइनों के लिए लगातार बफरिंग सक्षम कर सकते हैं, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।
नए प्लगइन्स का समर्थन
2023 की शुरुआत में, OpenSearch Ingestion ने इसके लिए समर्थन जोड़ा Apache Kafka के लिए Amazon प्रबंधित स्ट्रीमिंग (अमेज़ॅन एमएसके)। OpenSearch अंतर्ग्रहण का उपयोग करता है काफ्का प्लगइन अमेज़ॅन एमएसके से ओपनसर्च सेवा प्रबंधित डोमेन या ओपनसर्च सर्वर रहित संग्रह में डेटा स्ट्रीम करने के लिए। Amazon MSK को डेटा स्रोत के रूप में स्थापित करने के बारे में अधिक जानने के लिए देखें Apache Kafka के लिए Amazon प्रबंधित स्ट्रीमिंग के साथ OpenSearch अंतर्ग्रहण पाइपलाइन का उपयोग करना.
ओपनसर्च सर्वर रहित अद्यतन
ओपनसर्च सर्वरलेस ने एम्बेडिंग को स्टोर करने और समानता खोज चलाने के लिए प्रकार वेक्टर खोज के एक नए संग्रह के समर्थन को पेश करके ओपनसर्च के साथ आपके सर्वर रहित अनुभव को बढ़ाना जारी रखा। ओपनसर्च सर्वरलेस अब क्वेरी थ्रूपुट में स्पाइक्स को संभालने के लिए शार्ड रेप्लिका स्केलिंग का समर्थन करता है। और यदि आप समय श्रृंखला संग्रह का उपयोग कर रहे हैं, तो अब आप अपनी डेटा प्रतिधारण आवश्यकताओं से मेल खाने के लिए अपनी कस्टम डेटा प्रतिधारण नीति सेट कर सकते हैं।
ओपनसर्च सर्वर रहित के लिए वेक्टर इंजन
नवंबर 2023 में, हमने लॉन्च किया अमेज़ॅन ओपनसर्च सर्वरलेस के लिए वेक्टर इंजन. वेक्टर इंजन अंतर्निहित वेक्टर डेटाबेस बुनियादी ढांचे को प्रबंधित करने की आवश्यकता के बिना आधुनिक एमएल-संवर्धित खोज अनुभव और जेनरेटिव आर्टिफिशियल इंटेलिजेंस (जेनेरेटिव एआई) अनुप्रयोगों का निर्माण करना आसान बनाता है। यह आपको अलग-अलग डेटा स्टोर या जटिल एप्लिकेशन स्टैक को प्रबंधित करने और बनाए रखने की आवश्यकता को हटाकर, एक ही क्वेरी में वेक्टर खोज और पूर्ण-पाठ खोज को मिलाकर हाइब्रिड खोज चलाने में भी सक्षम बनाता है।
ओपनसर्च सर्वर रहित कम लागत वाला विकास और परीक्षण वातावरण
ओपनसर्च सर्वरलेस अब आपको प्रतिकृति चलाने से बचने की अनुमति देकर विकास और परीक्षण वर्कलोड का समर्थन करता है। प्रतिकृतियों को हटाने से केवल उपलब्धता उद्देश्यों के लिए किसी अन्य उपलब्धता क्षेत्र में अनावश्यक ओसीयू रखने की आवश्यकता समाप्त हो जाती है। यदि आप विकास और परीक्षण के लिए ओपनसर्च सर्वरलेस का उपयोग कर रहे हैं, जहां उपलब्धता चिंता का विषय नहीं है, तो आप अपने न्यूनतम OCU को 4 से घटाकर 2 कर सकते हैं।
ओपनसर्च सर्वरलेस डेटा जीवनचक्र नीतियों का उपयोग करके स्वचालित समय-आधारित डेटा हटाने का समर्थन करता है
दिसंबर 2023 में, ओपनसर्च सर्वरलेस ने समय श्रृंखला संग्रह और अनुक्रमणिका के डेटा प्रतिधारण के प्रबंधन के लिए समर्थन की घोषणा की। नई स्वचालित समय-आधारित डेटा विलोपन सुविधा के साथ, आप निर्दिष्ट कर सकते हैं कि आप कितने समय तक डेटा बनाए रखना चाहते हैं। OpenSearch सर्वरलेस इस कॉन्फ़िगरेशन के आधार पर स्वचालित रूप से डेटा के जीवनचक्र का प्रबंधन करता है। अधिक जानने के लिए, देखें अमेज़ॅन ओपनसर्च सर्वरलेस अब स्वचालित समय-आधारित डेटा हटाने का समर्थन करता है.
ओपनसर्च सर्वरलेस ने शार्ड स्तर पर प्रतिकृतियों को बढ़ाने के लिए समर्थन की घोषणा की
लॉन्च के समय, ओपनसर्च सर्वरलेस ने बढ़ते डेटा आकार के जवाब में स्वचालित रूप से बढ़ती क्षमता का समर्थन किया। साथ नई शार्ड प्रतिकृति स्केलिंग सुविधा, ओपनसर्च सर्वरलेस स्वचालित रूप से क्वेरी दरों में अचानक बढ़ोतरी के कारण दबाव में शार्ड का पता लगाता है और तेजी से प्रतिक्रिया समय बनाए रखते हुए बढ़ी हुई क्वेरी थ्रूपुट को संभालने के लिए गतिशील रूप से नए शार्ड प्रतिकृतियां जोड़ता है। यह दृष्टिकोण केवल नई अनुक्रमणिका प्रतिकृतियाँ जोड़ने की तुलना में अधिक लागत-कुशल साबित होता है।
आपके OCU उपयोग की निगरानी के लिए AWS उपयोगकर्ता सूचनाएं
इस लॉन्च के साथ, आप सिस्टम को सूचनाएं भेजने के लिए कॉन्फ़िगर कर सकते हैं जब OCU का उपयोग निकट आ रहा हो या खोज या अंतर्ग्रहण के लिए अधिकतम कॉन्फ़िगर सीमा तक पहुंच गया हो। नए AWS उपयोगकर्ता अधिसूचना एकीकरण के साथ, जब भी क्षमता सीमा का उल्लंघन होता है तो आप सूचनाएं भेजने के लिए सिस्टम को कॉन्फ़िगर कर सकते हैं। उपयोगकर्ता अधिसूचना सुविधा लगातार सेवा की निगरानी करने की आवश्यकता को समाप्त करती है। अधिक जानकारी के लिए देखें AWS उपयोगकर्ता सूचनाओं का उपयोग करके Amazon OpenSearch सर्वर रहित की निगरानी करना.
ओपनसर्च डैशबोर्ड के साथ अपना अनुभव बढ़ाएं
ओपनसर्च सेवा में ओपनसर्च 2.9 ने ओपनसर्च डैशबोर्ड में आपके डेटा का त्वरित विश्लेषण करना आसान बनाने के लिए नई सुविधाएँ पेश कीं। इन नई सुविधाओं में नए आउट-ऑफ़-द-बॉक्स, ओपनसर्च इंटीग्रेशन के साथ पूर्व-कॉन्फ़िगर किए गए डैशबोर्ड और आपके डैशबोर्ड में मौजूदा विज़ुअलाइज़ेशन से अलर्ट और विसंगति का पता लगाने की क्षमता शामिल है।
ओपनसर्च डैशबोर्ड एकीकरण
OpenSearch 2.9 ने OpenSearch डैशबोर्ड में OpenSearch एकीकरण का समर्थन जोड़ा। ओपनसर्च एकीकरण में पूर्व-कॉन्फ़िगर किए गए डैशबोर्ड शामिल हैं ताकि आप जैसे लोकप्रिय स्रोतों से आने वाले अपने डेटा का तुरंत विश्लेषण शुरू कर सकें एडब्ल्यूएस क्लाउडफ्रंट, एडब्ल्यूएस WAF, AWS क्लाउडट्रिल, तथा अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) प्रवाह लॉग।
ओपनसर्च डैशबोर्ड में चेतावनी और विसंगतियाँ
ओपनसर्च सर्विस 2.9 में, आप सीधे अपने से एक नया अलर्टिंग मॉनिटर बना सकते हैं लाइन चार्ट विज़ुअलाइज़ेशन ओपनसर्च डैशबोर्ड में। आप ओपनसर्च में पहले से बनाए गए मौजूदा मॉनिटर या डिटेक्टर को डैशबोर्ड विज़ुअलाइज़ेशन से भी जोड़ सकते हैं।
यह नई सुविधा डैशबोर्ड और अलर्टिंग या एनोमली डिटेक्शन प्लगइन दोनों के बीच संदर्भ स्विचिंग को कम करने में मदद करती है। अपनी सेवाओं में औसत डेटा मात्रा में गिरावट का पता लगाने के लिए एक अलर्टिंग मॉनिटर जोड़ने के लिए निम्नलिखित डैशबोर्ड देखें।
ओपनसर्च भू-स्थानिक एकत्रीकरण समर्थन का विस्तार करता है
ओपनसर्च संस्करण 2.9 के साथ, ओपनसर्च सेवा ने तीन प्रकार का समर्थन जोड़ा भू-आकार एपीआई के माध्यम से डेटा एकत्रीकरण: भू-सीमाएँ, जियो_हैश, तथा जियो_टाइल.
जियोशेप फ़ील्ड प्रकार एक बिंदु, एक बहुभुज, या एक लिनेस्ट्रिंग जैसे विभिन्न भौगोलिक प्रारूपों में स्थान डेटा को अनुक्रमित करने की संभावना प्रदान करता है। नए एकत्रीकरण प्रकारों के साथ, आपके पास मीट्रिक और मल्टी-बकेट भू-स्थानिक एकत्रीकरण का उपयोग करके किसी सूचकांक से दस्तावेज़ एकत्र करने के लिए अधिक लचीलापन है।
ओपनसर्च सेवा परिचालन अद्यतन
डोमेन प्रबंधित नोड्स को बदलते समय ओपनसर्च सेवा ने नीले/हरे परिनियोजन को चलाने की आवश्यकता को हटा दिया। इसके अतिरिक्त, सेवा ने आपके ओपनसर्च सेवा डोमेन में परिवर्तनों को ट्रैक करने के लिए नए ऑटो-ट्यून मेट्रिक्स के समर्थन के साथ ऑटो-ट्यून घटनाओं में सुधार किया।
ओपनसर्च सेवा अब आपको नीले/हरे परिनियोजन के बिना डोमेन प्रबंधक नोड्स को अपडेट करने देती है
2 की शुरुआती छमाही में, ओपनसर्च सेवा ने आपको नीले/हरे परिनियोजन की आवश्यकता के बिना समर्पित क्लस्टर प्रबंधक नोड्स के इंस्टेंस प्रकार या इंस्टेंस गिनती को संशोधित करने की अनुमति दी। यह एन्हांसमेंट किसी भी डेटा मूवमेंट से बचते हुए, आपके डोमेन संचालन में न्यूनतम व्यवधान के साथ त्वरित अपडेट की अनुमति देता है।
पहले, ओपनसर्च सेवा पर अपने समर्पित क्लस्टर प्रबंधक नोड्स को अपडेट करने का मतलब परिवर्तन करने के लिए नीले/हरे रंग की तैनाती का उपयोग करना था। हालाँकि नीली/हरी तैनाती आपके डोमेन में किसी भी व्यवधान से बचने के लिए होती है, क्योंकि तैनाती डोमेन पर अतिरिक्त संसाधनों का उपयोग करती है, यह अनुशंसा की जाती है कि आप उन्हें कम-ट्रैफ़िक अवधि के दौरान निष्पादित करें। अब आप नीले/हरे परिनियोजन की आवश्यकता के बिना क्लस्टर प्रबंधक इंस्टेंस प्रकार या इंस्टेंस काउंट को अपडेट कर सकते हैं, ताकि ये अपडेट आपके डोमेन संचालन में किसी भी संभावित व्यवधान से बचते हुए तेजी से पूरा हो सकें। ऐसे मामलों में जहां आप डोमेन प्रबंधक इंस्टेंस प्रकार और गिनती दोनों को संशोधित करते हैं, ओपनसर्च सेवा अभी भी परिवर्तन करने के लिए नीले/हरे परिनियोजन का उपयोग करेगी। आप यह जांचने के लिए ड्राई-रन विकल्प का उपयोग कर सकते हैं कि आपके परिवर्तन के लिए नीले/हरे रंग की तैनाती की आवश्यकता है या नहीं।
उन्नत ऑटो-ट्यून अनुभव
सितंबर 2023 में, ओपनसर्च सर्विस ने नए ऑटो-ट्यून मेट्रिक्स और बेहतर ऑटो-ट्यून इवेंट जोड़े जो आपको ऑटो-ट्यून द्वारा किए गए डोमेन प्रदर्शन अनुकूलन में बेहतर दृश्यता प्रदान करते हैं।
ऑटो-ट्यून एक अनुकूली संसाधन प्रबंधन प्रणाली है जो दक्षता और प्रदर्शन में सुधार के लिए ओपनसर्च सेवा डोमेन संसाधनों को स्वचालित रूप से अपडेट करती है। उदाहरण के लिए, ऑटो-ट्यून आपके नोड्स पर मेमोरी-संबंधित कॉन्फ़िगरेशन जैसे कतार आकार, कैश आकार और जावा वर्चुअल मशीन (जेवीएम) सेटिंग्स को अनुकूलित करता है।
इस लॉन्च के साथ, अब आप परिवर्तनों के इतिहास का ऑडिट कर सकते हैं, साथ ही उन्हें वास्तविक समय में ट्रैक भी कर सकते हैं अमेज़ॅन क्लाउडवॉच सांत्वना.
इसके अतिरिक्त, ओपनसर्च सेवा अब परिवर्तनों का विवरण प्रकाशित करती है अमेज़न EventBridge जब ओपनसर्च सेवा डोमेन पर ऑटो-ट्यून सेटिंग्स की सिफारिश की जाती है या लागू की जाती है। ये ऑटो-ट्यून इवेंट भी पर दिखाई देंगे सूचनाएं ओपनसर्च सर्विस कंसोल पर पेज।
नए माइग्रेशन सहायक समाधान के साथ ओपनसर्च सेवा में अपने माइग्रेशन को तेज़ करें
नवंबर 2023 में, ओपनसर्च टीम ने एक नया ओपन-सोर्स समाधान लॉन्च किया-अमेज़ॅन ओपनसर्च सेवा के लिए माइग्रेशन सहायक. समाधान स्व-प्रबंधित इलास्टिक्स खोज और ओपन सर्च डोमेन से ओपन सर्च सेवा में डेटा माइग्रेशन का समर्थन करता है, माइग्रेशन स्रोतों के रूप में इलास्टिक्स खोज 7.x (<=7.10), ओपन सर्च 1.x और ओपन सर्च 2.x का समर्थन करता है। समाधान मौजूदा और लाइव डेटा को स्रोत और गंतव्य के बीच स्थानांतरित करने की सुविधा प्रदान करता है।
निष्कर्ष
इस पोस्ट में, हमने खोज, अवलोकन, सुरक्षा विश्लेषण और माइग्रेशन के साथ आपके व्यवसाय को नवीनीकृत करने में आपकी सहायता के लिए ओपनसर्च सेवा में नई रिलीज़ को कवर किया है। हमने आपको OpenSearch सेवा, OpenSearch Ingestion और OpenSearch सर्वरलेस में प्रत्येक नई सुविधा का उपयोग कब करना है, इसके बारे में जानकारी प्रदान की है।
ओपनसर्च डैशबोर्ड और ओपनसर्च प्लगइन्स और नए रोमांचक ओपनसर्च सहायक के उपयोग के बारे में और जानें ओपन सर्च खेल का मैदान.
इस पोस्ट में वर्णित सुविधाओं की जाँच करें, और हम आपकी बहुमूल्य प्रतिक्रिया प्रदान करने के लिए आपकी सराहना करते हैं।
लेखक के बारे में
जॉन हैंडलर पालो अल्टो, सीए में स्थित अमेज़ॅन वेब सर्विसेज में एक वरिष्ठ प्रिंसिपल सॉल्यूशंस आर्किटेक्ट हैं। जॉन ओपनसर्च और अमेज़ॅन ओपनसर्च सेवा के साथ मिलकर काम करता है, जो उन ग्राहकों की एक विस्तृत श्रृंखला को सहायता और मार्गदर्शन प्रदान करता है जिनके पास खोज और लॉग एनालिटिक्स कार्यभार है जिसे वे एडब्ल्यूएस क्लाउड पर ले जाना चाहते हैं। AWS में शामिल होने से पहले, एक सॉफ्टवेयर डेवलपर के रूप में जॉन के करियर में बड़े पैमाने पर, ईकॉमर्स सर्च इंजन कोडिंग करने का 4 साल का समय शामिल था। जॉन ने पेंसिल्वेनिया विश्वविद्यालय से कला स्नातक, और नॉर्थवेस्टर्न विश्वविद्यालय से विज्ञान में मास्टर और कंप्यूटर विज्ञान और आर्टिफिशियल इंटेलिजेंस में पीएचडी की उपाधि प्राप्त की है।
हजर बौआफ़िफ़ अमेज़ॅन वेब सर्विसेज में एनालिटिक्स स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। वह अमेज़ॅन ओपनसर्च सेवा पर ध्यान केंद्रित करती है और ग्राहकों को विभिन्न उद्योगों में अच्छी तरह से डिज़ाइन किए गए एनालिटिक्स वर्कलोड को डिजाइन करने और बनाने में मदद करती है। हेजर को बाहर समय बिताना और नई संस्कृतियों की खोज करना पसंद है।
अरुणा गोविंदराजू एक अमेज़ॅन ओपनसर्च स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं और उन्होंने कई वाणिज्यिक और ओपन सोर्स सर्च इंजनों के साथ काम किया है। उसे खोज, प्रासंगिकता और उपयोगकर्ता अनुभव का शौक है। खोज इंजन व्यवहार के साथ अंतिम-उपयोगकर्ता संकेतों को सहसंबंधित करने में उनकी विशेषज्ञता ने कई ग्राहकों को उनके खोज अनुभव को बेहतर बनाने में मदद की है।
प्रशांत अग्रवाल Amazon OpenSearch सेवा के साथ एक वरिष्ठ खोज विशेषज्ञ समाधान वास्तुकार हैं। वह ग्राहकों के साथ मिलकर काम करते हैं ताकि उन्हें अपने वर्कलोड को क्लाउड पर माइग्रेट करने में मदद मिल सके और मौजूदा ग्राहकों को बेहतर प्रदर्शन हासिल करने और लागत बचाने के लिए अपने क्लस्टर को ठीक करने में मदद मिलती है। AWS में शामिल होने से पहले, उन्होंने विभिन्न ग्राहकों को उनकी खोज और लॉग एनालिटिक्स उपयोग मामलों के लिए OpenSearch और Elasticsearch का उपयोग करने में मदद की। जब वह काम नहीं कर रहा होता है, तो आप उसे यात्रा करते और नई जगहों की खोज करते हुए पा सकते हैं। संक्षेप में, वह ईट → ट्रैवल → रिपीट करना पसंद करता है।
मुस्लिम अबू ताहा एक सीनियर ओपनसर्च स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट है जो ग्राहकों को निर्बाध खोज कार्यभार माइग्रेशन, चरम प्रदर्शन के लिए फाइन-ट्यूनिंग क्लस्टर और लागत-प्रभावशीलता सुनिश्चित करने के माध्यम से मार्गदर्शन करने के लिए समर्पित है। तकनीकी खाता प्रबंधक (टीएएम) की पृष्ठभूमि के साथ, मुस्लिम उद्यम ग्राहकों को क्लाउड अपनाने में सहायता करने और उनके कार्यभार के विभिन्न सेटों को अनुकूलित करने में समृद्ध अनुभव लाता है। मुस्लिमों को अपने परिवार के साथ समय बिताना, यात्रा करना और नई जगहों की खोज करना अच्छा लगता है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/amazon-opensearch-h2-2023-in-review/
