Zephyrnet-Logo

Reranking 3: Förderung von Enterprise Search und RAG-Systemen

Datum:

Einleitung

Cohere stellte sein Basismodell der nächsten Generation vor, Rerank 3 für effiziente Unternehmenssuche und Augmented Generation abrufen(LAPPEN). Das Rerank-Modell ist mit jeder Art von kompatibel Datenbank oder Suchindex und kann auch in jede juristische Anwendung mit nativen Suchfunktionen integriert werden. Sie können sich nicht vorstellen, dass eine einzige Codezeile die Suchleistung steigern oder den Aufwand für die Ausführung einer Suche senken kann RAG-Anwendung mit vernachlässigbarer Auswirkung auf die Latenz.  

Lassen Sie uns untersuchen, wie dieses Basismodell die Unternehmenssuche und RAG-Systeme mit erhöhter Genauigkeit und Effizienz voranbringen soll. 

Rerankieren Sie 3

Fähigkeiten von Rerank 

Rerank bietet die besten Funktionen für die Unternehmenssuche, darunter Folgendes: 

  • 4K-Kontextlänge, was die Suchqualität für längere Dokumente erheblich verbessert. 
  • Es kann multiaspekte und halbstrukturierte Daten wie Tabellen, Code usw. durchsuchen. JSON Dokumente, Rechnungen und E-Mails. 
  • Es kann mehr als 100 Sprachen abdecken.
  • Erhöhte Latenz und geringere Gesamtbetriebskosten (TCO)

Generative KI-Modelle mit langen Kontexten haben das Potenzial, eine RAG auszuführen. Um den Genauigkeitswert, die Latenz und die Kosten zu verbessern, muss die RAG-Lösung eine Kombination aus Generierung erfordern KI-Modelle und natürlich Rerank-Modell. Das hochpräzise semantische Reranking von rerank3 stellt sicher, dass nur die relevanten Informationen in das Generierungsmodell eingespeist werden, was die Antwortgenauigkeit erhöht und die Latenz und Kosten sehr niedrig hält, insbesondere beim Abrufen der Informationen aus Millionen von Dokumenten. 

Unternehmensdaten sind oft sehr komplex und die aktuellen Systeme, die in der Organisation eingesetzt werden, haben Schwierigkeiten bei der Suche in mehraspektigen und halbstrukturierten Datenquellen. In der Organisation liegen die nützlichsten Daten größtenteils nicht im einfachen Dokumentformat vor, wie z. B. JSON, das in Unternehmensanwendungen weit verbreitet ist. Rerank 3 ist problemlos in der Lage, komplexe E-Mails mit mehreren Aspekten basierend auf allen relevanten Metadatenfeldern, einschließlich ihrer Aktualität, zu bewerten. 

Erweiterte Unternehmenssuche
Mehrsprachige Abrufgenauigkeit basierend auf nDCG@10 auf MIRACL (je höher, desto besser).

Rerank 3 verbessert die Qualität des Codeabrufs erheblich. Dies kann die Produktivität von Ingenieuren steigern, indem es ihnen hilft, die richtigen Code-Snippets schneller zu finden, sei es innerhalb der Codebasis ihres Unternehmens oder in umfangreichen Dokumentations-Repositories.

Rerankieren 3 | Erweiterte Unternehmenssuche
Genauigkeit der Codeauswertung basierend auf nDCG@10 auf Codesearchnet, Stackoverflow, CosQA, Human Eval, MBPP, DS1000 (je höher desto besser).

Tech-Giganten befassen sich auch mit mehrsprachigen Datenquellen, und bisher war die mehrsprachige Recherche bei schlüsselwortbasierten Methoden die größte Herausforderung. Die Rerank 3-Modelle bieten eine starke mehrsprachige Leistung mit über 100 Sprachen und vereinfachen den Abrufprozess für nicht englischsprachige Kunden. 

Erweiterte Unternehmenssuche
Mehrsprachige Abrufgenauigkeit basierend auf nDCG@10 auf MIRACL (je höher, desto besser).

Eine zentrale Herausforderung bei semantischen Such- und RAG-Systemen ist die Optimierung der Datenaufteilung. Rerank 3 behebt dieses Problem mit einem 4K-Kontextfenster, das die direkte Verarbeitung größerer Dokumente ermöglicht. Dies führt zu einer verbesserten Kontextberücksichtigung bei der Relevanzbewertung.

Rerankieren 3 | Erweiterte Unternehmenssuche

Rerank 3 wird auch in der Inferenz-API von Elastic unterstützt. Elastic Search verfügt über eine weit verbreitete Suchtechnologie und die Schlüsselwort- und Vektorsuchfunktionen der Elasticsearch-Plattform sind für die effiziente Verarbeitung größerer und komplexerer Unternehmensdaten ausgelegt. 

„Wir freuen uns über die Partnerschaft mit Cohere, um Unternehmen dabei zu helfen, das Potenzial ihrer Daten auszuschöpfen“, sagte Matt Riley, GVP und GM von Elasticsearch. Die fortschrittlichen Abrufmodelle von Cohere, Embed 3 und Rerank 3, bieten eine hervorragende Leistung bei komplexen und großen Unternehmensdaten. Sie sind Ihr Problemlöser und werden zu wesentlichen Bestandteilen jedes Unternehmenssuchsystems. 

Verbesserte Latenz mit längerem Kontext

In vielen Geschäftsbereichen wie E-Commerce oder Kundenservice ist eine geringe Latenz entscheidend für die Bereitstellung eines qualitativ hochwertigen Erlebnisses. Dies haben sie bei der Entwicklung von Rerank 3 berücksichtigt, das im Vergleich zu Rerank 2 eine bis zu zweifach geringere Latenz bei kürzeren Dokumentlängen und bis zu dreifache Verbesserungen bei langen Kontextlängen aufweist.

Rerankieren 3 | Verbesserte Latenz mit längerem Kontext
Die Vergleiche wurden als Zeit berechnet, um 50 Dokumente über verschiedene Dokument-Token-Längenprofile hinweg zu bewerten. Bei jedem Lauf wird ein Stapel von 50 Dokumenten mit einheitlicher Tokenlänge für jedes Dokument angenommen.

Bessere Leistung und effizienter RAG

In RAG-Systemen (Retrieval-Augmented Generation) ist die Dokumentenabrufphase entscheidend für die Gesamtleistung. Reranking 3 befasst sich mit zwei wesentlichen Faktoren für eine außergewöhnliche RAG-Leistung: Antwortqualität und Latenz. Das Modell zeichnet sich dadurch aus, dass es durch seine semantischen Reranking-Funktionen die relevantesten Dokumente für die Anfrage eines Benutzers lokalisieren kann.

Dieser gezielte Abrufprozess verbessert direkt die Genauigkeit der Antworten des RAG-Systems. Durch den effizienten Abruf relevanter Informationen aus großen Datensätzen ermöglicht Rerank 3 großen Unternehmen, den Wert ihrer proprietären Daten zu erschließen. Dies erleichtert verschiedene Geschäftsfunktionen, einschließlich Kundensupport, Recht, Personalwesen und Finanzen, indem ihnen die relevantesten Informationen zur Beantwortung von Benutzeranfragen bereitgestellt werden.

Bessere Leistung und effizienter RAG
Rerank 3 ist eine kostengünstige Lösung für RAG in Kombination mit der Command R-Modellfamilie. Es ermöglicht Benutzern, weniger Dokumente zur fundierten Generierung an das LLM zu übergeben, wobei Genauigkeit und Latenz gewahrt bleiben. Dadurch ist RAG mit Rerank 80–93 % günstiger als andere generative LLMs.

Die Integration von Rerank 3 mit der kostengünstigen Command R-Familie für RAG-Systeme bietet Benutzern eine erhebliche Reduzierung der Gesamtbetriebskosten (TCO). Dies wird durch zwei Schlüsselfaktoren erreicht. Erstens erleichtert Rerank 3 die Auswahl hochrelevanter Dokumente, sodass der LLM weniger Dokumente verarbeiten muss, um fundierte Antworten zu generieren. Dadurch bleibt die Antwortgenauigkeit erhalten und gleichzeitig wird die Latenz minimiert. Zweitens führt die kombinierte Effizienz der Modelle Rerank 3 und Command R zu Kostensenkungen von 80–93 % im Vergleich zu alternativen generativen LLMs auf dem Markt. Wenn man die Kosteneinsparungen durch Rerank 3 und Command R berücksichtigt, können die Gesamtkostensenkungen sogar über 98 % betragen.

Rerankieren Sie 3
Die eigenständigen Kosten basieren auf den Inferenzkosten für 1 Mio. RAG-Eingabeaufforderungen mit 50 Dokumenten mit jeweils 250 Token und 250 Ausgabetoken. Die Kosten mit Reranking basieren auf den Inferenzkosten für 1 Mio. RAG-Eingabeaufforderungen mit 5 Dokumenten zu je 250 Token und 250 Ausgabetoken.

Ein zunehmend verbreiteter und bekannter Ansatz für RAG-Systeme ist die Verwendung von LLMs als Reranker für den Dokumentenabrufprozess. Rerank 3 übertrifft branchenführende LLMs wie Claude-3 Sonte und GPT Turbo in Bezug auf die Ranking-Genauigkeit und ist gleichzeitig 90–98 % günstiger. 

Rerankieren Sie 3
Genauigkeit basierend auf nDCG@10 im TREC 2020-Datensatz (höher ist besser). LLMs werden listenweise nach dem in RankGPT verwendeten Ansatz bewertet (Sun et al. 2023).

Reranking 3 erhöht die Genauigkeit und Qualität der LLM-Antwort. Es trägt auch dazu bei, die Gesamtbetriebskosten zu senken. Rerank erreicht dies, indem es unsere weniger relevanten Dokumente aussortiert und nur die kleine Teilmenge der relevanten Dokumente sortiert, um Antworten zu finden.

Zusammenfassung

Rerank 3 ist ein revolutionäres Tool für Unternehmenssuch- und RAG-Systeme. Es ermöglicht eine hohe Genauigkeit beim Umgang mit komplexen Datenstrukturen und mehreren Sprachen. Reranking 3 minimiert das Daten-Chunking und reduziert so die Latenz und die Gesamtbetriebskosten. Dies führt zu schnelleren Suchergebnissen und kostengünstigen RAG-Implementierungen. Die Integration mit Elasticsearch sorgt für eine verbesserte Entscheidungsfindung und ein besseres Kundenerlebnis.

Sie können viele weitere solcher KI-Tools und ihre Anwendungen erkunden hier.

spot_img

Neueste Intelligenz

spot_img