المُقدّمة
قدمت شركة Cohere نموذجها الأساسي من الجيل التالي، Rerank 3 للبحث المؤسسي الفعال و الجيل المعزز الاسترداد(خرقة). نموذج إعادة الترتيب متوافق مع أي نوع من قاعدة بيانات أو فهرس البحث ويمكن أيضًا دمجه في أي تطبيق قانوني مزود بإمكانيات البحث الأصلية. لن تتخيل أن سطرًا واحدًا من التعليمات البرمجية يمكن أن يعزز أداء البحث أو يقلل تكلفة تشغيل ملف تطبيق راج مع تأثير ضئيل على الكمون.
دعونا نستكشف كيفية إعداد هذا النموذج الأساسي لتعزيز البحث المؤسسي وأنظمة RAG، بدقة وكفاءة محسنة.
قدرات إعادة الترتيب
توفر ميزة Rerank أفضل الإمكانيات للبحث المؤسسي والتي تتضمن ما يلي:
- طول سياق 4K مما يعزز بشكل كبير جودة البحث عن المستندات الأطول.
- يمكنه البحث في بيانات متعددة الجوانب وشبه منظمة مثل الجداول والتعليمات البرمجية JSON المستندات والفواتير ورسائل البريد الإلكتروني.
- يمكن أن تغطي أكثر من 100 لغة.
- زمن استجابة محسّن وتقليل التكلفة الإجمالية للملكية (TCO)
نماذج الذكاء الاصطناعي التوليدية ذات السياقات الطويلة لديها القدرة على تنفيذ RAG. من أجل تحسين درجة الدقة وزمن الوصول والتكلفة، يجب أن يتطلب حل RAG مجموعة من عمليات التوليد نماذج الذكاء الاصطناعى وبالطبع إعادة ترتيب النموذج. تعمل إعادة الترتيب الدلالي عالية الدقة لـ rerank3 على التأكد من تغذية المعلومات ذات الصلة فقط إلى نموذج الإنشاء مما يزيد من دقة الاستجابة ويحافظ على زمن الوصول والتكلفة منخفضين للغاية، خاصة عند استرداد المعلومات من ملايين المستندات.
بحث محسّن عن المؤسسات
غالبًا ما تكون بيانات المؤسسة معقدة للغاية وتواجه الأنظمة الحالية الموجودة في المؤسسة صعوبات في البحث من خلال مصادر بيانات متعددة الجوانب وشبه منظمة. بشكل رئيسي، البيانات الأكثر فائدة في المؤسسة ليست في تنسيق مستند بسيط مثل JSON الشائع جدًا عبر تطبيقات المؤسسة. يمكن لـ Rerank 3 تصنيف رسائل البريد الإلكتروني المعقدة والمتعددة الجوانب بسهولة استنادًا إلى جميع حقول البيانات الوصفية ذات الصلة، بما في ذلك حداثتها.
تعمل إعادة الترتيب 3 على تحسين مدى جودة استرداد التعليمات البرمجية بشكل كبير. يمكن أن يؤدي ذلك إلى تعزيز إنتاجية المهندسين من خلال مساعدتهم في العثور على مقتطفات التعليمات البرمجية الصحيحة بشكل أسرع، سواء داخل قاعدة التعليمات البرمجية الخاصة بشركتهم أو عبر مستودعات الوثائق الضخمة.
يتعامل عمالقة التكنولوجيا أيضًا مع مصادر البيانات متعددة اللغات، وكان الاسترجاع متعدد اللغات سابقًا يمثل التحدي الأكبر مع الأساليب المعتمدة على الكلمات الرئيسية. تقدم نماذج Rerank 3 أداءً قويًا متعدد اللغات بأكثر من 100 لغة مما يبسط عملية الاسترداد للعملاء غير الناطقين باللغة الإنجليزية.
يتمثل التحدي الرئيسي في البحث الدلالي وأنظمة RAG في تحسين تقطيع البيانات. تعالج تقنية Rerank 3 هذه المشكلة من خلال نافذة سياق بدقة 4K، مما يتيح المعالجة المباشرة للمستندات الأكبر حجمًا. يؤدي هذا إلى تحسين مراعاة السياق أثناء تسجيل الملاءمة.
يتم دعم إعادة الترتيب 3 في واجهة برمجة التطبيقات المرنة الخاصة بالاستدلال أيضًا. يتمتع البحث المرن بتقنية بحث معتمدة على نطاق واسع، وقد تم تصميم إمكانات البحث عن الكلمات الرئيسية والمتجهات في النظام الأساسي Elasticsearch للتعامل مع بيانات المؤسسة الأكبر حجمًا والأكثر تعقيدًا بكفاءة.
قال مات رايلي، GVP والمدير العام لشركة Elasticsearch: "نحن متحمسون للدخول في شراكة مع Cohere لمساعدة الشركات على إطلاق العنان لإمكانات بياناتها". تقدم نماذج الاسترجاع المتقدمة من Cohere، وهي Embed 3 وRerank 3، أداءً ممتازًا في بيانات المؤسسة المعقدة والكبيرة. إنها أداة حل المشكلات لديك، وقد أصبحت مكونات أساسية في أي نظام بحث خاص بالمؤسسات.
تحسين الكمون مع سياق أطول
في العديد من مجالات الأعمال مثل التجارة الإلكترونية أو خدمة العملاء، يعد زمن الوصول المنخفض أمرًا بالغ الأهمية لتقديم تجربة عالية الجودة. لقد وضعوا ذلك في الاعتبار أثناء إنشاء Rerank 3، والذي يُظهر زمن وصول أقل بما يصل إلى 2x مقارنةً بإعادة الترتيب 2 لأطوال المستندات الأقصر وما يصل إلى 3x تحسينات لأطوال السياق الطويلة.
أداء أفضل و RAG فعال
في أنظمة إنشاء الاسترجاع المعزز (RAG)، تعد مرحلة استرداد المستندات أمرًا بالغ الأهمية للأداء العام. تتناول إعادة الترتيب 3 عاملين أساسيين لأداء RAG الاستثنائي: جودة الاستجابة وزمن الوصول. يتفوق النموذج في تحديد المستندات الأكثر صلة باستعلام المستخدم من خلال إمكانيات إعادة الترتيب الدلالية.
تعمل عملية الاسترجاع المستهدفة هذه بشكل مباشر على تحسين دقة استجابات نظام RAG. من خلال تمكين الاسترجاع الفعال للمعلومات ذات الصلة من مجموعات البيانات الكبيرة، يعمل برنامج Rerank 3 على تمكين المؤسسات الكبيرة من إطلاق العنان لقيمة بيانات الملكية الخاصة بها. وهذا يسهل وظائف الأعمال المختلفة، بما في ذلك دعم العملاء، والشؤون القانونية، والموارد البشرية، والمالية، من خلال تزويدهم بالمعلومات الأكثر صلة لمعالجة استفسارات المستخدم.
يوفر دمج Rerank 3 مع عائلة Command R الفعالة من حيث التكلفة لأنظمة RAG انخفاضًا كبيرًا في إجمالي تكلفة الملكية (TCO) للمستخدمين. ويتم تحقيق ذلك من خلال عاملين رئيسيين. أولاً، تسهل إعادة الترتيب 3 اختيار المستندات ذات الصلة للغاية، مما يتطلب من LLM معالجة عدد أقل من المستندات لإنشاء استجابة مؤسسية. وهذا يحافظ على دقة الاستجابة مع تقليل زمن الوصول. ثانيًا، تؤدي الكفاءة المجمعة لنماذج Rerank 3 وCommand R إلى خفض التكلفة بنسبة 80-93% مقارنة ببرامج ماجستير إدارة الأعمال التوليدية البديلة في السوق. في الواقع، عند النظر في توفير التكاليف من كل من Rerank 3 وCommand R، يمكن أن يتجاوز إجمالي تخفيضات التكلفة 98%.
أحد الأساليب الشائعة والمعروفة بشكل متزايد لأنظمة RAG هو استخدام LLMs كمعيدي ترتيب لعملية استرجاع المستندات. يتفوق برنامج Rerank 3 على حاملي شهادات LLM الرائدة في الصناعة مثل Claude -3 Sonte وGPT Turbo من حيث دقة التصنيف بينما يكون أقل تكلفة بنسبة 90-98%.
إعادة الترتيب 3 يعزز دقة وجودة استجابة LLM. كما أنه يساعد في تقليل التكلفة الإجمالية للملكية من البداية إلى النهاية. تحقق عملية إعادة الترتيب ذلك من خلال التخلص من المستندات الأقل صلة بالموضوع، والفرز فقط من خلال مجموعة فرعية صغيرة من المستندات ذات الصلة للحصول على الإجابات.
وفي الختام
Rerank 3 هي أداة ثورية للبحث في المؤسسات وأنظمة RAG. يتيح دقة عالية في التعامل مع هياكل البيانات المعقدة واللغات المتعددة. تعمل إعادة الترتيب 3 على تقليل تجزئة البيانات، مما يقلل زمن الوصول والتكلفة الإجمالية للملكية. وينتج عن هذا نتائج بحث أسرع وعمليات تنفيذ RAG فعالة من حيث التكلفة. إنه يتكامل مع Elasticsearch لتحسين عملية صنع القرار وتجارب العملاء.
يمكنك استكشاف العديد من أدوات الذكاء الاصطناعي وتطبيقاتها هنا.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.analyticsvidhya.com/blog/2024/04/rerank-3-boosting-enterprise-search-and-rag-systems/
