كان عام 2023 عامًا مزدحمًا بالنسبة لـ خدمة Amazon OpenSearch! تعرف على المزيد حول الإصدارات التي أطلقتها خدمة OpenSearch في النصف الأول من 2023.
وفي النصف الثاني من عام 2023، أضافت خدمة OpenSearch دعمًا لخدمتين جديدتين أوبن سيرش الإصدارات: 2.9 و2.11 يقدم هذان الإصداران ميزات جديدة في مساحة البحث، ومساحة بحث التعلم الآلي (ML)، وعمليات الترحيل، والجانب التشغيلي للخدمة.
مع إصدار التكامل صفر-ETL مع خدمة تخزين أمازون البسيطة (Amazon S3)، يمكنك تحليل بياناتك الموجودة في بحيرة البيانات الخاصة بك باستخدام خدمة OpenSearch لإنشاء لوحات المعلومات والاستعلام عن البيانات دون الحاجة إلى نقل بياناتك من Amazon S3.
أعلنت خدمة OpenSearch أيضًا عن تكامل جديد لـ ETL مع الأمازون DynamoDB من خلال البرنامج المساعد DynamoDB ل ابتلاع Amazon OpenSearch. يعتني OpenSearch Ingestion بالتمهيد ويتدفق البيانات بشكل مستمر من مصدر DynamoDB الخاص بك.
أعلن OpenSearch Serverless عن التوفر العام لـ محرك المتجهات لـ Amazon OpenSearch Serverless إلى جانب ميزات أخرى لتحسين تجربتك مع مجموعات السلاسل الزمنية، وإدارة تكلفة بيئات التطوير، وتوسيع نطاق مواردك بسرعة لتتناسب مع متطلبات عبء العمل لديك.
في هذا المنشور، نناقش الإصدارات الجديدة في خدمة OpenSearch لتمكين عملك من خلال البحث وإمكانية المراقبة والتحليلات الأمنية وعمليات الترحيل.
قم ببناء حلول فعالة من حيث التكلفة باستخدام خدمة OpenSearch
من خلال التكامل الصفري لـ ETL مع Amazon S3، تتيح لك خدمة OpenSearch Service الآن الاستعلام عن بياناتك في مكانها، مما يوفر تكلفة التخزين. تعد عملية نقل البيانات عملية مكلفة لأنك تحتاج إلى نسخ البيانات عبر مخازن بيانات مختلفة. يؤدي هذا إلى زيادة حجم بياناتك وزيادة التكلفة. يؤدي نقل البيانات أيضًا إلى إضافة عبء إدارة خطوط الأنابيب لترحيل البيانات من مصدر واحد إلى وجهة جديدة.
أضافت خدمة OpenSearch أيضًا أنواع مثيلات جديدة لعقد البيانات — Im4gn وOR1 — لمساعدتك على تحسين تكلفة البنية التحتية بشكل أكبر. بفضل محركات الأقراص ذات الحالة الصلبة (SSD) ذات الذاكرة غير المتطايرة (NVMe) التي تبلغ سعتها القصوى 30 تيرابايت، يوفر مثيل Im4gn مساحة تخزين كثيفة وأداء أفضل. تستخدم مثيلات OR1 النسخ المتماثل للقطاعات والتخزين المدعوم عن بعد لزيادة الإنتاجية بشكل كبير لأحمال عمل الفهرسة الثقيلة.
Zero-ETL من DynamoDB إلى خدمة OpenSearch
في نوفمبر 2023، قدمت DynamoDB وOpenSearch Ingestion تكاملًا صفريًا لـ ETL لخدمة OpenSearch. توفر نطاقات خدمة OpenSearch ومجموعات OpenSearch Serverless إمكانات بحث متقدمة، مثل البحث عن النص الكامل والبحث المتجهي، في بيانات DynamoDB الخاصة بك. مع عدد قليل من النقرات على وحدة تحكم إدارة AWS، يمكنك الآن تحميل بياناتك ومزامنتها بسهولة من DynamoDB إلى خدمة OpenSearch، مما يلغي الحاجة إلى كتابة تعليمات برمجية مخصصة لاستخراج البيانات وتحويلها وتحميلها.
استعلام مباشر (ETL صفر لبيانات Amazon S3، قيد المعاينة)
أعلنت خدمة OpenSearch عن طريقة جديدة تتيح لك الاستعلام عن السجلات التشغيلية في مستودعات البيانات المستندة إلى Amazon S3 وS3 دون الحاجة إلى التبديل بين الأدوات لتحليل البيانات التشغيلية. في السابق، كان يتعين عليك نسخ البيانات من Amazon S3 إلى خدمة OpenSearch للاستفادة من ميزات التحليلات والتصورات الغنية لـ OpenSearch لفهم بياناتك، وتحديد الحالات الشاذة، واكتشاف التهديدات المحتملة.
ومع ذلك، فإن تكرار البيانات بشكل مستمر بين الخدمات يمكن أن يكون مكلفًا ويتطلب عملاً تشغيليًا. باستخدام ميزة الاستعلام المباشر لخدمة OpenSearch، يمكنك الوصول إلى بيانات سجل التشغيل المخزنة في Amazon S3، دون الحاجة إلى نقل البيانات نفسها. يمكنك الآن إجراء استعلامات وتصورات معقدة على بياناتك دون أي حركة للبيانات.
دعم Im4gn مع خدمة البحث المفتوح
تم تحسين مثيلات Im4gn لأحمال العمل التي تدير مجموعات البيانات الكبيرة وتحتاج إلى كثافة تخزين عالية لكل وحدة معالجة مركزية افتراضية (vCPU). تأتي مثيلات Im4gn بأحجام كبيرة حتى 16xlarge، مع ما يصل إلى 30 تيرابايت في حجم قرص NVMe SSD. تم بناء مثيلات Im4gn عليها نظام AWS Nitro محركات أقراص SSD، التي توفر وصولاً عالي الإنتاجية إلى القرص بزمن وصول منخفض للحصول على أفضل أداء. تدعم مثيلات Im4gn لخدمة OpenSearch جميع إصدارات OpenSearch وإصدارات Elasticsearch 7.9 وما فوق. لمزيد من التفاصيل، راجع أنواع المثيلات المدعومة في Amazon OpenSearch Service.
نقدم لكم OR1، وهي عائلة مثيلات OpenSearch المحسنة لفهرسة أعباء العمل الثقيلة
وفي نوفمبر 2023، تم إطلاق خدمة البحث المفتوح OR1، عائلة مثيلات OpenSearch المحسنة، والذي يوفر تحسينًا في أداء السعر بنسبة تصل إلى 30% مقارنة بالمثيلات الموجودة في المعايير الداخلية ويستخدم Amazon S3 لتوفير 11 9 ثانية من المتانة. يستخدم المجال مع مثيلات OR1 متجر أمازون مطاط بلوك وحدات تخزين (Amazon EBS) للتخزين الأساسي، مع نسخ البيانات بشكل متزامن إلى Amazon S3 عند وصولها. تستخدم مثيلات OR1 البحث المفتوح خاصية النسخ المقطعي لتمكين الأجزاء المتماثلة من قراءة البيانات مباشرة من Amazon S3، وتجنب تكلفة الموارد للفهرسة في كل من الأجزاء الأساسية والمتماثلة. تدعم عائلة مثيل OR1 أيضًا الاسترداد التلقائي للبيانات في حالة الفشل. لمزيد من المعلومات حول خيارات نوع مثيل OR1، راجع أنواع مثيلات الجيل الحالي في خدمة البحث المفتوح.
قم بتمكين أعمالك باستخدام ميزات التحليلات الأمنية
يدعم البرنامج الإضافي Security Analytics في خدمة OpenSearch Service الميزات المبتكرة أنواع السجلات المعبأة مسبقًا ويوفر قواعد الكشف الأمني (قواعد سيجما) للكشف عن الحوادث الأمنية المحتملة.
في OpenSearch 2.9، أضاف البرنامج الإضافي Security Analytics دعمًا لأنواع سجلات العملاء ودعمًا أصليًا لـ فتح إطار مخطط الأمن السيبراني (OCSF) تنسيق البيانات. باستخدام هذا الدعم الجديد، يمكنك إنشاء أجهزة كشف باستخدام بيانات OCSF المخزنة فيها بحيرة أمان أمازون لتحليل النتائج الأمنية والتخفيف من أي حادث محتمل. أضاف البرنامج الإضافي Security Analytics أيضًا إمكانية إنشاء أنواع السجلات المخصصة الخاصة بك وإنشاء قواعد الكشف المخصصة.
بناء حلول بحث مدعومة بالتعلم الآلي
في عام 2023، استثمرت خدمة OpenSearch في التخلص من الأعباء الثقيلة المطلوبة لإنشاء تطبيقات بحث من الجيل التالي. بفضل ميزات مثل خطوط أنابيب البحث، ومعالجات البحث، وموصلات AI/ML، أتاحت خدمة OpenSearch تطويرًا سريعًا لتطبيقات البحث المدعومة بالبحث العصبي، والبحث المختلط، والنتائج المخصصة. بالإضافة إلى ذلك، أدت التحسينات التي تم إدخالها على البرنامج المساعد kNN إلى تحسين تخزين واسترجاع بيانات المتجهات. تعمل المكونات الإضافية الاختيارية التي تم إطلاقها حديثًا لخدمة OpenSearch على تمكين التكامل السلس مع محللات اللغة الإضافية و تخصيص أمازون.
البحث عن خطوط الأنابيب
البحث عن خطوط الأنابيب توفير طرق جديدة لتعزيز استعلامات البحث وتحسين نتائج البحث. يمكنك تحديد مسار البحث ثم إرسال استفساراتك إليه. عند تحديد مسار البحث، فإنك تحدد ذلك المعالجات التي تحول وتزيد من استفساراتك، وتعيد ترتيب نتائجك. تتضمن معالجات الاستعلام المعدة مسبقًا تحويل التاريخ والتجميع ومعالجة السلسلة وتحويل نوع البيانات. يقوم معالج النتائج في مسار البحث باعتراض النتائج وتكييفها بسرعة قبل تقديمها إلى المرحلة التالية. يتم تنفيذ كل من معالجة الطلب والاستجابة لخط الأنابيب على عقدة المنسق، لذلك لا توجد معالجة على مستوى الجزء.
المكونات الإضافية الاختيارية
تتيح لك خدمة OpenSearch ربط الملفات المثبتة مسبقًا المكونات الإضافية الاختيارية لـ OpenSearch لاستخدامها مع المجال الخاص بك. تتوافق حزمة المكونات الإضافية الاختيارية مع إصدار OpenSearch محدد، ولا يمكن ربطها إلا بالنطاقات التي تحتوي على هذا الإصدار. يتم سرد المكونات الإضافية المتاحة على الباقات الصفحة على وحدة تحكم خدمة OpenSearch. يتضمن البرنامج الإضافي الاختياري البرنامج الإضافي Amazon Personalize، الذي يدمج خدمة OpenSearch مع Amazon Personalize، ومحللات اللغة الجديدة مثل Nori، وSudachi، وSTConvert، وPinyin.
دعم محللي اللغة الجديدة
وأضافت خدمة OpenSearch الدعم لأربعة جديدة المكونات الإضافية لمحلل اللغة: نوري (الكورية)، سوداتشي (اليابانية)، بينيين (الصينية)، وتحليل STConvert (الصينية). وهي متاحة في جميع مناطق AWS كمكونات إضافية اختيارية يمكنك ربطها بالنطاقات التي تعمل بأي إصدار OpenSearch. يمكنك استخدام ال الباقات على وحدة تحكم خدمة OpenSearch لربط هذه المكونات الإضافية بنطاقك، أو استخدام Associate Package API.
خاصية البحث العصبي
البحث العصبي يتوفر بشكل عام مع الإصدار 2.9 من خدمة OpenSearch والإصدارات الأحدث. يتيح لك البحث العصبي التكامل مع نماذج ML التي يتم استضافتها عن بعد باستخدام إطار عمل تقديم النماذج. عند استخدام استعلام عصبي أثناء البحث، يقوم البحث العصبي بتحويل نص الاستعلام إلى تضمينات متجهة، ويستخدم البحث المتجه لمقارنة الاستعلام وتضمين المستند، ويعيد أقرب النتائج. أثناء الاستيعاب، يقوم البحث العصبي بتحويل نص المستند إلى تضمين متجه وفهرسة كل من النص وتضمينات المتجهات الخاصة به في فهرس متجه.
التكامل مع أمازون تخصيص
قدمت خدمة OpenSearch مكونًا إضافيًا اختياريًا للتكامل مع Amazon Personalize في إصدارات OpenSearch 2.9 أو الأحدث. يتيح لك المكون الإضافي OpenSearch Service الخاص بـ Amazon Personalize Search Ranking تحسين مشاركة المستخدم النهائي وتحويله من موقع الويب الخاص بك والبحث في التطبيقات من خلال الاستفادة من إمكانات التعلم العميق التي توفرها Amazon Personalize. كمكون إضافي اختياري، فإن الحزمة متوافقة مع الإصدار 2.9 من OpenSearch أو الأحدث، ولا يمكن ربطه إلا بالنطاقات التي تحتوي على هذا الإصدار.
تصفية استعلام فعالة باستخدام k-NN FAISS الخاص بـ OpenSearch
قدمت خدمة OpenSearch تصفية فعالة للاستعلام باستخدام k-NN FAISS الخاص بـ OpenSearch في الإصدار 2.9 والإصدارات الأحدث. البحث المفتوح مرشحات الاستعلام ناقلات فعالة تقوم القدرة بتقييم إستراتيجيات التصفية المثالية بذكاء - التصفية المسبقة باستخدام أقرب جار تقريبي (ANN) أو التصفية باستخدام أقرب جار تقريبي (k-NN) - لتحديد أفضل استراتيجية لتقديم استعلامات بحث متجهة دقيقة ومنخفضة زمن الوصول. في إصدارات OpenSearch السابقة، استخدمت استعلامات المتجهات على محرك FAISS تقنيات ما بعد التصفية، والتي مكنت الاستعلامات التي تمت تصفيتها على نطاق واسع، ولكن من المحتمل أن تعرض نتائج أقل من عدد "k" المطلوب من النتائج. مرشحات الاستعلام ناقلات فعالة تقديم الكمون المنخفض ونتائج دقيقةمما يتيح لك استخدام البحث المختلط عبر التقنيات المتجهة والمعجمية.
ناقلات البايتات الكمية في خدمة OpenSearch
مع الجديد ناقل البايت الكمي تم تقديمه مع 2.9، يمكنك تقليل متطلبات الذاكرة بعامل 4 وتقليل زمن وصول البحث بشكل كبير، مع الحد الأدنى من فقدان الجودة (الاستدعاء). باستخدام هذه الميزة، يتم تكميم الأعداد الصحيحة ذات 32 بت المستخدمة للمتجهات أو تحويلها إلى أعداد صحيحة ذات إشارة 8 بت. بالنسبة للعديد من التطبيقات، يمكن قياس بيانات المتجهات العائمة الحالية مع خسارة قليلة في الجودة. بمقارنة المعايير، ستجد أن استخدام متجهات البايت بدلاً من العوامات 32 بت يؤدي إلى انخفاض كبير في التخزين واستخدام الذاكرة مع تحسين إنتاجية الفهرسة وتقليل زمن وصول الاستعلام. داخلي هي المعيار لقياس جدوي أظهر أن استخدام التخزين انخفض بنسبة تصل إلى 78%، كما انخفض استخدام ذاكرة الوصول العشوائي (RAM) بنسبة تصل إلى 59% (لمجموعة البيانات glove-200-angular). كانت قيم الاسترجاع لمجموعات البيانات الزاوية أقل من تلك الخاصة بمجموعات البيانات الإقليدية.
موصلات AI/ML
يدعم OpenSearch 2.9 والإصدارات الأحدث التكامل مع نماذج ML مستضافة على خدمات AWS أو منصات خارجية. يتيح ذلك لمسؤولي النظام وعلماء البيانات تشغيل أحمال عمل تعلم الآلة خارج مجال خدمة OpenSearch الخاصة بهم. تأتي موصلات ML مع مجموعة مدعومة من مخططات ML — وهي قوالب تحدد مجموعة المعلمات التي تحتاج إلى توفيرها عند إرسال طلبات واجهة برمجة التطبيقات (API) إلى موصل معين. توفر خدمة OpenSearch موصلات للعديد من الأنظمة الأساسية، مثل أمازون سيج ميكر, أمازون بيدروك, OpenAI ChatGPTو التحم.
تكاملات وحدة تحكم خدمة OpenSearch
أضاف OpenSearch 2.9 والإصدارات الأحدث ميزة تكامل جديدة على وحدة التحكم. التكامل يوفر لك تكوين سحابة AWS قالب لبناء الخاص بك البحث الدلالي حالة الاستخدام من خلال الاتصال بنماذج تعلم الآلة المستضافة على SageMaker أو Amazon Bedrock. يقوم قالب CloudFormation بإنشاء نقطة نهاية النموذج ويسجل معرف النموذج مع مجال خدمة OpenSearch الذي توفره كمدخل للقالب.
البحث الهجين وتطبيع النطاق
• معالج التطبيع و استعلام مختلط يعتمد على الميزتين اللتين تم إصدارهما في وقت سابق من عام 2023 —البحث العصبي و خطوط أنابيب البحث. ونظرًا لأن الاستعلامات المعجمية والدلالية تُرجع درجات الصلة بمقاييس مختلفة، فقد كان من الصعب ضبط استعلامات البحث المختلطة بدقة.
تدعم خدمة OpenSearch Service 2.11 الآن معالج الجمع والتسوية للبحث المختلط. يمكنك الآن إجراء استعلامات بحث هجينة، تجمع بين استعلامات بحث المتجهات k-NN القائمة على المفردات واللغة الطبيعية. تتيح لك خدمة OpenSearch أيضًا إمكانية ضبط نتائج البحث المختلطة الخاصة بك للحصول على أقصى قدر من الملاءمة باستخدام مجموعة النقاط المتعددة وتقنيات التسوية.
بحث متعدد الوسائط مع Amazon Bedrock
تطلق خدمة OpenSearch Service 2.11 دعم البحث متعدد الوسائط الذي يسمح لك بالبحث في بيانات النص والصورة باستخدام نماذج التضمين متعددة الوسائط. لإنشاء عمليات تضمين متجهة، تحتاج إلى إنشاء مسار استيعاب يحتوي على ملف معالج text_image_embedding، الذي يحول ثنائيات النص أو الصورة في حقل المستند إلى تضمينات متجهة. يمكنك استخدام جملة الاستعلام العصبي، إما في ملف واجهة برمجة تطبيقات البرنامج المساعد k-NN or الاستعلام عن دي اس ال الاستعلامات، لإجراء مجموعة من عمليات البحث عن النصوص والصور. يمكنك استخدام ميزات تكامل خدمة OpenSearch الجديدة للبدء سريعًا في البحث متعدد الوسائط.
استرجاع متناثر العصبية
البحث العصبي المتناثر، وهو طريقة جديدة فعالة لاسترجاع الدلالات، متوفر في OpenSearch Service 2.11. يعمل البحث العصبي المتناثر في وضعين: التشفير الثنائي والمستند فقط. باستخدام وضع التشفير الثنائي، يتم تمرير كل من المستندات واستعلامات البحث من خلال برامج التشفير العميقة. في وضع المستند فقط، يتم تمرير المستندات فقط عبر برامج التشفير العميقة، بينما يتم ترميز استعلامات البحث. يقوم برنامج التشفير المتناثر المخصص للمستندات فقط بإنشاء فهرس يبلغ حجمه 10.4% من حجم فهرس التشفير الكثيف. بالنسبة للمشفر الثنائي، يبلغ حجم الفهرس 7.2% من حجم فهرس التشفير الكثيف. يتم تمكين البحث العصبي المتناثر من خلال نماذج التشفير المتناثر التي تنشئ تضمينات متجهية متفرقة: مجموعة من <token: weight> أزواج تمثل إدخال النص ووزنه المقابل في المتجه المتناثر. لمعرفة المزيد حول النماذج المدربة مسبقًا للبحث العصبي المتناثر، راجع نماذج ترميز متفرقة.
يؤدي البحث العصبي المتناثر إلى تقليل التكاليف وتحسين ملاءمة البحث وخفض زمن الاستجابة. يمكنك استخدام ميزات تكامل خدمة OpenSearch الجديدة للبدء بسرعة في البحث العصبي المتناثر.
تحديثات استيعاب البحث المفتوح
استيعاب البحث المفتوح عبارة عن مسار استيعاب مُدار بالكامل ومُتدرج تلقائيًا يقوم بتسليم بياناتك إلى نطاقات خدمة OpenSearch ومجموعات OpenSearch Serverless. منذ إصداره في عام 2023، يستمر OpenSearch Ingestion في إضافة ميزات جديدة لتسهيل تحويل بياناتك ونقلها من المصادر المدعومة إلى الوجهات النهائية مثل OpenSearch Service وOpenSearch Serverless وAmazon S3.
ميزات الترحيل الجديدة في OpenSearch Ingestion
في نوفمبر 2023، أعلن OpenSearch Ingestion عن إصدار ميزات جديدة لدعم ترحيل البيانات من نطاقات الإصدار 7.x من Elasticsearch المُدارة ذاتيًا إلى أحدث إصدارات خدمة OpenSearch.
يدعم OpenSearch Ingestion أيضًا ترحيل البيانات من المجالات المُدارة لخدمة OpenSearch التي تشغل الإصدار 2.x من OpenSearch إلى مجموعات OpenSearch Serverless.
تعرف على كيفية استخدام OpenSearch Ingestion من أجل ترحيل البيانات الخاصة بك إلى خدمة OpenSearch.
تحسين متانة البيانات باستخدام OpenSearch Ingestion
في نوفمبر 2023، قدم OpenSearch Ingestion التخزين المؤقت المستمر للمصادر المستندة إلى الدفع مثل مصادر HTTP (HTTP وFluentd وFluentBit) ومجمعات OpenTelemetry.
افتراضيًا، يستخدم OpenSearch Ingestion التخزين المؤقت في الذاكرة. من خلال التخزين المؤقت المستمر، يقوم OpenSearch Ingestion بتخزين بياناتك في مخزن قائم على القرص يكون أكثر مرونة. إذا كانت لديك مسارات استيعاب موجودة، فيمكنك تمكين التخزين المؤقت المستمر لهذه المسارات، كما هو موضح في لقطة الشاشة التالية.
دعم الإضافات الجديدة
في أوائل عام 2023، أضاف OpenSearch Ingestion دعمًا لـ Amazon Managed Streaming لأباتشي كافكا (أمازون إم إس كيه). يستخدم OpenSearch Ingestion البرنامج المساعد كافكا لدفق البيانات من Amazon MSK إلى المجالات المُدارة بواسطة خدمة OpenSearch Service أو مجموعات OpenSearch Serverless. لمعرفة المزيد حول إعداد Amazon MSK كمصدر بيانات، راجع استخدام مسار OpenSearch Ingestion مع Amazon Managed Streaming لـ Apache Kafka.
تحديثات OpenSearch Serverless
واصل OpenSearch Serverless تحسين تجربتك بدون خادم مع OpenSearch من خلال تقديم دعم مجموعة جديدة من بحث متجه النوع لتخزين التضمينات وتشغيل بحث التشابه. يدعم OpenSearch Serverless الآن تحجيم النسخة المتماثلة للجزء للتعامل مع الارتفاعات في إنتاجية الاستعلام. وإذا كنت تستخدم مجموعة سلاسل زمنية، فيمكنك الآن إعداد سياسة الاحتفاظ بالبيانات المخصصة الخاصة بك لتتوافق مع متطلبات الاحتفاظ بالبيانات الخاصة بك.
محرك المتجهات لـ OpenSearch Serverless
في نوفمبر 2023، أطلقنا محرك متجه لـ Amazon OpenSearch Serverless. يجعل محرك المتجهات من السهل إنشاء تجارب بحث حديثة معززة بالتعلم الآلي وتطبيقات الذكاء الاصطناعي التوليدي (الذكاء الاصطناعي التوليدي) دون الحاجة إلى إدارة البنية التحتية لقاعدة بيانات المتجهات الأساسية. كما أنه يمكّنك من تشغيل بحث مختلط، والجمع بين بحث المتجهات والبحث عن النص الكامل في نفس الاستعلام، مما يزيل الحاجة إلى إدارة وصيانة مخازن بيانات منفصلة أو مجموعة تطبيقات معقدة.
بيئات تطوير واختبار منخفضة التكلفة بدون خادم OpenSearch
يدعم OpenSearch Serverless الآن أعباء عمل التطوير والاختبار من خلال السماح لك بتجنب تشغيل نسخة متماثلة. تؤدي إزالة النسخ المتماثلة إلى إلغاء الحاجة إلى وجود وحدات OCU زائدة عن الحاجة في منطقة توافر خدمات أخرى لأغراض التوفر فقط. إذا كنت تستخدم OpenSearch Serverless للتطوير والاختبار، حيث لا يكون التوفر مصدر قلق، فيمكنك إسقاط الحد الأدنى من وحدات OCU من 4 إلى 2.
يدعم OpenSearch Serverless الحذف الآلي للبيانات المستندة إلى الوقت باستخدام سياسات دورة حياة البيانات
في ديسمبر 2023، أعلن OpenSearch Serverless عن دعم لإدارة الاحتفاظ بالبيانات لمجموعات وفهارس السلاسل الزمنية. باستخدام ميزة الحذف التلقائي للبيانات المستندة إلى الوقت، يمكنك تحديد المدة التي تريد الاحتفاظ بالبيانات فيها. يقوم OpenSearch Serverless تلقائيًا بإدارة دورة حياة البيانات بناءً على هذا التكوين. لمعرفة المزيد، راجع يدعم Amazon OpenSearch Serverless الآن الحذف التلقائي للبيانات المستندة إلى الوقت.
أعلن OpenSearch Serverless عن دعمه لتوسيع نطاق النسخ المتماثلة على مستوى الجزء
عند الإطلاق، دعم OpenSearch Serverless زيادة السعة تلقائيًا استجابةً لأحجام البيانات المتزايدة. مع ال تحجيم النسخ المتماثلة الجديدة الميزة، يقوم OpenSearch Serverless باكتشاف الأجزاء تلقائيًا تحت الإكراه بسبب الارتفاع المفاجئ في معدلات الاستعلام ويضيف نسخًا متماثلة جديدة للأجزاء ديناميكيًا للتعامل مع إنتاجية الاستعلام المتزايدة مع الحفاظ على أوقات الاستجابة السريعة. أثبت هذا الأسلوب أنه أكثر فعالية من حيث التكلفة من مجرد إضافة نسخ متماثلة جديدة للفهرس.
إشعارات مستخدم AWS لمراقبة استخدام OCU الخاص بك
من خلال هذا الإطلاق، يمكنك تكوين النظام لإرسال إشعارات عندما يقترب استخدام OCU أو يصل إلى الحد الأقصى للحدود التي تم تكوينها للبحث أو الاستيعاب. من خلال تكامل AWS User Notification الجديد، يمكنك تكوين النظام لإرسال إشعارات عند انتهاك حد السعة. تعمل ميزة إشعار المستخدم على إلغاء الحاجة إلى مراقبة الخدمة باستمرار. لمزيد من المعلومات، راجع مراقبة Amazon OpenSearch Serverless باستخدام إشعارات مستخدم AWS.
عزز تجربتك مع لوحات معلومات OpenSearch
قدم OpenSearch 2.9 في خدمة OpenSearch ميزات جديدة لتسهيل تحليل بياناتك بسرعة في لوحات معلومات OpenSearch. تتضمن هذه الميزات الجديدة لوحات المعلومات الجديدة الجاهزة والمكونة مسبقًا مع عمليات تكامل OpenSearch والقدرة على إنشاء تنبيهات واكتشاف الحالات الشاذة من تصور موجود في لوحات المعلومات الخاصة بك.
تكاملات لوحة تحكم OpenSearch
أضاف OpenSearch 2.9 دعم عمليات تكامل OpenSearch في لوحات معلومات OpenSearch. تتضمن عمليات تكامل OpenSearch لوحات معلومات تم تكوينها مسبقًا حتى تتمكن من البدء بسرعة في تحليل بياناتك الواردة من المصادر الشائعة مثل AWS كلاودفرونت, أوس واف, أوس كلاود تريلو سحابة أمازون الافتراضية الخاصة سجلات التدفق (Amazon VPC).
التنبيهات والشذوذات في لوحات معلومات OpenSearch
في OpenSearch Service 2.9، يمكنك إنشاء شاشة تنبيه جديدة مباشرة من جهازك تصور الرسم البياني الخطي في لوحات تحكم البحث المفتوح. يمكنك أيضًا ربط أجهزة المراقبة أو الكاشفات الموجودة التي تم إنشاؤها مسبقًا في OpenSearch بتصور لوحة المعلومات.
تساعد هذه الميزة الجديدة على تقليل تبديل السياق بين لوحات المعلومات وكل من المكونات الإضافية للتنبيه أو اكتشاف الحالات الشاذة. ارجع إلى لوحة المعلومات التالية لإضافة شاشة تنبيه لاكتشاف الانخفاضات في متوسط حجم البيانات في خدماتك.
يقوم OpenSearch بتوسيع دعم التجمعات الجغرافية المكانية
مع الإصدار 2.9 من OpenSearch، أضافت خدمة OpenSearch دعمًا لثلاثة أنواع من com.geoshape تجميع البيانات من خلال API: Geo_bounds, Geo_hashو Geo_tile.
يوفر نوع حقل الشكل الجغرافي إمكانية فهرسة بيانات الموقع بتنسيقات جغرافية مختلفة مثل نقطة أو مضلع أو سلسلة خطية. باستخدام أنواع التجميع الجديدة، لديك المزيد من المرونة لتجميع المستندات من فهرس باستخدام التجميعات الجغرافية المكانية المترية ومتعددة الحاويات.
التحديثات التشغيلية لخدمة OpenSearch
أزالت خدمة OpenSearch الحاجة إلى تشغيل النشر الأزرق/الأخضر عند تغيير العقد المُدارة للمجال. بالإضافة إلى ذلك، قامت الخدمة بتحسين أحداث الضبط التلقائي بدعم مقاييس الضبط التلقائي الجديدة لتتبع التغييرات داخل مجال خدمة OpenSearch الخاصة بك.
تتيح لك خدمة OpenSearch الآن تحديث عقد إدارة النطاق دون الحاجة إلى النشر باللون الأزرق/الأخضر
اعتبارًا من أوائل النصف الثاني من عام 2، أتاحت لك خدمة OpenSearch Service تعديل نوع المثيل أو عدد المثيلات لعقد مدير المجموعة المخصصة دون الحاجة إلى النشر باللون الأزرق/الأخضر. يسمح هذا التحسين بتحديثات أسرع مع أقل قدر من التعطيل لعمليات النطاق الخاص بك، كل ذلك مع تجنب أي حركة للبيانات.
في السابق، كان تحديث عقد مدير المجموعة المخصصة لديك على خدمة OpenSearch يعني استخدام النشر باللون الأزرق/الأخضر لإجراء التغيير. على الرغم من أن عمليات النشر باللون الأزرق/الأخضر تهدف إلى تجنب أي انقطاع في نطاقاتك، نظرًا لأن النشر يستخدم موارد إضافية في المجال، فمن المستحسن أن تقوم بها أثناء فترات انخفاض حركة المرور. يمكنك الآن تحديث أنواع مثيلات مدير المجموعة أو عدد المثيلات دون الحاجة إلى نشر باللون الأزرق/الأخضر، بحيث يمكن إكمال هذه التحديثات بشكل أسرع مع تجنب أي انقطاع محتمل لعمليات المجال الخاص بك. في الحالات التي تقوم فيها بتعديل نوع مثيل مدير النطاق وعدده، ستظل خدمة OpenSearch تستخدم عملية نشر باللون الأزرق/الأخضر لإجراء التغيير. يمكنك استخدام خيار التشغيل التجريبي للتحقق مما إذا كان التغيير يتطلب نشرًا باللون الأزرق/الأخضر.
تجربة الضبط التلقائي المحسنة
في سبتمبر 2023، أضافت خدمة OpenSearch Service مقاييس الضبط التلقائي الجديدة وأحداث الضبط التلقائي المحسّنة التي تمنحك رؤية أفضل لتحسينات أداء المجال التي أجرتها ميزة الضبط التلقائي.
يعد Auto-Tune نظامًا تكيفيًا لإدارة الموارد يقوم تلقائيًا بتحديث موارد مجال خدمة OpenSearch Service لتحسين الكفاءة والأداء. على سبيل المثال، يعمل الضبط التلقائي على تحسين التكوين المتعلق بالذاكرة مثل أحجام قائمة الانتظار وأحجام ذاكرة التخزين المؤقت وإعدادات جهاز Java الظاهري (JVM) على العقد الخاصة بك.
مع هذا الإطلاق، يمكنك الآن مراجعة تاريخ التغييرات، بالإضافة إلى تتبعها في الوقت الفعلي من الأمازون CloudWatch وحدة التحكم.
بالإضافة إلى ذلك، تنشر خدمة OpenSearch الآن تفاصيل التغييرات التي تم إجراؤها على أمازون إيفينت بريدج عند التوصية بإعدادات الضبط التلقائي أو تطبيقها على مجال خدمة OpenSearch. ستكون أحداث الضبط التلقائي هذه مرئية أيضًا على الإشعارات الصفحة على وحدة تحكم خدمة OpenSearch.
قم بتسريع عملية الترحيل إلى خدمة OpenSearch باستخدام حل Migration Assistant الجديد
في نوفمبر 2023، أطلق فريق OpenSearch حلاً جديدًا مفتوح المصدر —مساعد الترحيل لخدمة Amazon OpenSearch. يدعم الحل ترحيل البيانات من نطاقات Elasticsearch وOpenSearch المُدارة ذاتيًا إلى خدمة OpenSearch، ودعم Elasticsearch 7.x (<=7.10)، وOpenSearch 1.x، وOpenSearch 2.x كمصادر ترحيل. يسهل الحل ترحيل البيانات الحالية والحية بين المصدر والوجهة.
وفي الختام
في هذا المنشور، قمنا بتغطية الإصدارات الجديدة في خدمة OpenSearch لمساعدتك على ابتكار أعمالك من خلال البحث وإمكانية المراقبة والتحليلات الأمنية وعمليات الترحيل. لقد قدمنا لك معلومات حول متى يمكنك استخدام كل ميزة جديدة في OpenSearch Service وOpenSearch Ingestion وOpenSearch Serverless.
تعرف على المزيد حول لوحات معلومات OpenSearch ومكونات OpenSearch الإضافية واستخدام مساعد OpenSearch الجديد والمثير ملعب البحث المفتوح.
تحقق من الميزات الموضحة في هذا المنشور، ونحن نقدر تزويدنا بتعليقاتك القيمة.
حول المؤلف
جون هاندلر هو مهندس الحلول الرئيسي الأول في Amazon Web Services ومقره في بالو ألتو، كاليفورنيا. يعمل جون بشكل وثيق مع OpenSearch وAmazon OpenSearch Service، حيث يقدم المساعدة والتوجيه لمجموعة واسعة من العملاء الذين لديهم أعباء عمل تحليلات البحث والتسجيل ويريدون نقلها إلى سحابة AWS. قبل انضمامه إلى AWS، تضمنت مسيرة جون المهنية كمطور برامج 4 سنوات من برمجة محرك بحث واسع النطاق للتجارة الإلكترونية. حصل جون على بكالوريوس في الآداب من جامعة بنسلفانيا، وماجستير في العلوم ودكتوراه في علوم الكمبيوتر والذكاء الاصطناعي من جامعة نورث وسترن.
هاجر بوافيف هو مهندس حلول متخصص في التحليلات في Amazon Web Services. وهي تركز على Amazon OpenSearch Service وتساعد العملاء على تصميم وبناء أعباء عمل تحليلية جيدة التصميم في صناعات متنوعة. تستمتع هاجر بقضاء الوقت في الهواء الطلق واكتشاف ثقافات جديدة.
أرونا جوفينداراجو هو مهندس حلول متخصص في Amazon OpenSearch وعمل مع العديد من محركات البحث التجارية ومفتوحة المصدر. إنها شغوفة بالبحث والملاءمة وتجربة المستخدم. وقد ساعدت خبرتها في ربط إشارات المستخدم النهائي بسلوك محرك البحث العديد من العملاء على تحسين تجربة البحث الخاصة بهم.
براشانت أغراوال هو مهندس حلول متخصص في البحث مع خدمة Amazon OpenSearch Service. إنه يعمل عن كثب مع العملاء لمساعدتهم على ترحيل أعباء العمل الخاصة بهم إلى السحابة ويساعد العملاء الحاليين على ضبط مجموعاتهم لتحقيق أداء أفضل وتوفير التكلفة. قبل الانضمام إلى AWS ، ساعد العديد من العملاء على استخدام OpenSearch و Elasticsearch لحالات استخدام تحليلات البحث والسجلات. عندما لا يعمل ، يمكنك أن تجده يسافر ويستكشف أماكن جديدة. باختصار ، يحب فعل أكل ← سفر ← كرر.
مسلم أبو طه هو مهندس حلول متخصص في OpenSearch، مكرس لتوجيه العملاء من خلال عمليات ترحيل أعباء عمل البحث السلسة، وضبط المجموعات لتحقيق أعلى مستوى من الأداء، وضمان فعالية التكلفة. بفضل خلفيته كمدير حساب فني (TAM)، يتمتع مسلم بخبرة كبيرة في مساعدة عملاء المؤسسات في اعتماد السحابة وتحسين مجموعة أعباء العمل المختلفة الخاصة بهم. يستمتع المسلم بقضاء الوقت مع عائلته والسفر واستكشاف أماكن جديدة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/amazon-opensearch-h2-2023-in-review/
