Zephyrnet logo

Rerank 3: Yrityshaun ja RAG-järjestelmien tehostaminen

Treffi:

esittely

Cohere esitteli seuraavan sukupolven perusmallinsa, Rerank 3:n tehokkaaseen yrityshakuun ja Haku laajennettu sukupolvi(RÄTTI). Rerank-malli on yhteensopiva kaikenlaisten kanssa tietokanta tai hakuhakemisto, ja se voidaan myös integroida mihin tahansa lailliseen sovellukseen, jossa on alkuperäiset hakuominaisuudet. Et usko, että yksi koodirivi voi tehostaa hakua tai vähentää palvelun suorittamisen kuluja RAG-sovellus jolla on mitätön vaikutus latenssiin.  

Katsotaanpa, kuinka tämä perusmalli on asetettu edistämään yrityshaku- ja RAG-järjestelmiä parannetulla tarkkuudella ja tehokkuudella. 

Uudelleensijoitus 3

Rerankin ominaisuudet 

Rerank tarjoaa parhaat ominaisuudet yrityshakuun, jotka sisältävät seuraavat: 

  • 4K-kontekstin pituus, joka parantaa merkittävästi pidempien asiakirjojen haun laatua. 
  • Se voi etsiä moninäköisistä ja puolirakenteisista tiedoista, kuten taulukoista, koodista, JSON asiakirjoja, laskuja ja sähköposteja. 
  • Se voi kattaa yli 100 kieltä.
  • Parannettu latenssi ja alentuneet kokonaiskulut (TCO)

Generatiiviset AI-mallit pitkillä yhteyksillä on potentiaalia toteuttaa RAG. Tarkkuuspisteiden, viiveen ja kustannusten parantamiseksi RAG-ratkaisun on vaadittava generoinnin yhdistelmää AI-mallit ja tietysti Rerank malli. Rerank3:n tarkka semanttinen uudelleenjärjestys varmistaa, että vain oleelliset tiedot syötetään sukupolvimalliin, mikä lisää vasteen tarkkuutta ja pitää viiveen ja kustannukset erittäin alhaisina, erityisesti haettaessa tietoa miljoonista asiakirjoista. 

Yritystiedot ovat usein hyvin monimutkaisia, ja nykyiset organisaatioon sijoitetut järjestelmät kohtaavat vaikeuksia etsiä moninäköisiä ja puolirakenteisia tietolähteitä. Pääasiassa organisaatiossa hyödyllisin tieto ei ole yksinkertaisessa asiakirjamuodossa, kuten JSON on hyvin yleinen yrityssovelluksissa. Rerank 3 pystyy helposti luokittelemaan monimutkaisia, monia näkökohtia, kuten sähköpostit, kaikkien asiaankuuluvien metatietokenttien perusteella, mukaan lukien niiden äskettäisyys. 

Tehostettu yrityshaku
Monikielinen hakutarkkuus perustuu nDCG@10:een MIRACL:iin (korkeampi sitä parempi).

Rerank 3 parantaa merkittävästi sitä, kuinka hyvin se hakee koodia. Tämä voi parantaa suunnittelijoiden tuottavuutta auttamalla heitä löytämään oikeat koodinpätkät nopeammin, joko yrityksen koodikannasta tai laajoista dokumentaatiovarastoista.

Uudelleensijoitus 3 | Tehostettu yrityshaku
Koodin arvioinnin tarkkuus perustuu Codesearchnet-, Stackoverflow-, CosQA-, Human Eval-, MBPP-, DS10-, nDCG@1000:een (korkeampi, sitä parempi).

Tekniset jättiläiset käsittelevät myös monikielisiä tietolähteitä, ja aiemmin monikielinen haku on ollut avainsanapohjaisten menetelmien suurin haaste. Rerank 3 -mallit tarjoavat vahvan monikielisen suorituskyvyn yli 100 kielellä, mikä yksinkertaistaa ei-englanninkielisten asiakkaiden hakuprosessia. 

Tehostettu yrityshaku
Monikielinen hakutarkkuus perustuu nDCG@10:een MIRACL:iin (korkeampi sitä parempi).

Keskeinen haaste semanttisissa hauissa ja RAG-järjestelmissä on tietojen lohkomisen optimointi. Rerank 3 korjaa tämän 4k-kontekstiikkunalla, mikä mahdollistaa suurempien asiakirjojen suoran käsittelyn. Tämä johtaa parempaan kontekstin huomioimiseen osuvuuden pisteytyksen aikana.

Uudelleensijoitus 3 | Tehostettu yrityshaku

Rerank 3:a tuetaan myös Elastic's Inference API:ssa. Elastisessa haussa on laajalti käytetty hakutekniikka, ja Elasticsearch-alustan avainsana- ja vektorihakuominaisuudet on suunniteltu käsittelemään suurempia ja monimutkaisempia yritystietoja tehokkaasti. 

"Olemme innoissamme yhteistyöstä Coheren kanssa auttaaksemme yrityksiä hyödyntämään datansa potentiaalia", sanoi Matt Riley, Elasticsearchin GVP ja GM. Coheren edistyneet hakumallit, jotka ovat Embed 3 ja Rerank 3, tarjoavat erinomaisen suorituskyvyn monimutkaisissa ja suurissa yritystiedoissa. Ne ovat ongelmanratkaisijasi, niistä on tulossa olennaisia ​​osia missä tahansa yrityshakujärjestelmässä. 

Parannettu latenssi pidemmällä kontekstilla

Monilla liiketoiminta-alueilla, kuten sähköisessä kaupankäynnissä tai asiakaspalvelussa, alhainen viive on ratkaisevan tärkeää laadukkaan kokemuksen tarjoamiseksi. He pitivät tämän mielessä, kun he rakensivat Rerank 3:n, joka näyttää jopa 2x pienemmän viiveen verrattuna Rerank 2:een lyhyempien asiakirjojen pituuden vuoksi ja jopa 3x parannuksia pitkillä kontekstipituuksilla.

Uudelleensijoitus 3 | Parannettu latenssi pidemmällä kontekstilla
Vertailut, jotka on laskettu aikana 50 asiakirjan luokitteluun useissa eri asiakirjatunnuksen pituisissa profiileissa; jokainen ajo olettaa 50 asiakirjan erän, joiden tunnistepituus on tasainen jokaisessa asiakirjassa.

Parempi suorituskyky ja tehokkaampi RAG

Retrieval-Augmented Generation (RAG) -järjestelmissä asiakirjojen hakuvaihe on kriittinen yleisen suorituskyvyn kannalta. Rerank 3 käsittelee kahta olennaista tekijää poikkeuksellisen RAG-suorituskyvyn kannalta: vastauksen laatu ja latenssi. Semanttisten uudelleensijoitustoimintojensa ansiosta malli on erinomainen paikantaa käyttäjän kyselyn kannalta oleellisimmat asiakirjat.

Tämä kohdennettu hakuprosessi parantaa suoraan RAG-järjestelmän vastausten tarkkuutta. Rerank 3 mahdollistaa olennaisten tietojen tehokkaan noudon suurista tietojoukoista ja antaa suurille yrityksille mahdollisuuden vapauttaa omistusoikeutettujen tietojensa arvo. Tämä helpottaa erilaisia ​​liiketoimintatoimintoja, kuten asiakastukea, lakia, henkilöstöhallintoa ja rahoitusta, tarjoamalla heille olennaisimmat tiedot käyttäjien kyselyihin vastaamiseksi.

Parempi suorituskyky ja tehokkaampi RAG
Rerank 3 on kustannustehokas ratkaisu RAG:lle yhdistettynä Command R -mallien kanssa. Sen avulla käyttäjät voivat välittää vähemmän asiakirjoja LLM:lle maadoitettua tuotantoa varten, mikä säilyttää tarkkuuden ja latenssin. Tämä tekee RAG:sta Rerankilla 80–93 % halvempaa kuin muut generatiiviset LLM:t.

Rerank 3:n integrointi kustannustehokkaaseen RAG-järjestelmien Command R -perheeseen vähentää merkittävästi käyttäjien kokonaiskustannuksia (TCO). Tämä saavutetaan kahdella keskeisellä tekijällä. Ensinnäkin Rerank 3 helpottaa erittäin relevanttien asiakirjojen valintaa, mikä edellyttää LLM:n käsittelevän vähemmän asiakirjoja maadoitettujen vastausten luomista varten. Tämä säilyttää vasteen tarkkuuden ja minimoi viiveen. Toiseksi Rerank 3- ja Command R -mallien yhdistetty tehokkuus johtaa 80-93 % kustannussäästöihin verrattuna markkinoilla oleviin vaihtoehtoisiin generatiivisiin LLM-malleihin. Itse asiassa, kun otetaan huomioon sekä Rerank 3:n että Command R:n kustannussäästöt, kokonaiskustannussäästöt voivat ylittää 98 %.

Uudelleensijoitus 3
Itsenäiset kustannukset perustuvat 1 miljoonan RAG-kehotteen päättelykustannuksiin, joissa on 50 asiakirjaa, joissa kussakin on 250 merkkiä, ja 250 tulostetunnusta. Kustannukset uudelleensijoituksella perustuvat 1 miljoonan RAG-kehotteen päättelykustannuksiin, joissa on 5 asiakirjaa, joissa kussakin on 250 merkkiä ja 250 tulostetunnusta.

Yksi yhä yleisempi ja tunnetumpi tapa RAG-järjestelmissä on LLM:ien käyttäminen uudelleensijoittajina asiakirjojen hakuprosessissa. Rerank 3 päihittää alan johtavat LLM:t, kuten Claude -3 Sonte, GPT Turbo, sijoituksen tarkkuudella ja on 90–98 % halvempi. 

Uudelleensijoitus 3
Tarkkuus perustuu nDCG@10:een TREC 2020 -tietojoukossa (korkeampi, sitä parempi). LLM:t arvioidaan listallisesti RankGPT:ssä käytetyn lähestymistavan mukaisesti (Sun et al. 2023).

Rerank 3 parantaa LLM-vastauksen tarkkuutta ja laatua. Se auttaa myös vähentämään kokonaiskustannuksia. Rerank saavuttaa tämän karsimalla vähemmän relevantteja asiakirjojamme ja lajittelemalla vain pienen osajoukon asiaankuuluvia asiakirjoja saadakseen vastauksia.

Yhteenveto

Rerank 3 on vallankumouksellinen työkalu yrityshakuun ja RAG-järjestelmiin. Se mahdollistaa suuren tarkkuuden monimutkaisten tietorakenteiden ja useiden kielten käsittelyssä. Rerank 3 minimoi tietojen lohkomisen vähentäen latenssia ja kokonaiskustannuksia. Tämä johtaa nopeampiin hakutuloksiin ja kustannustehokkaisiin RAG-toteutuksiin. Se integroituu Elasticsearchiin päätöksenteon ja asiakaskokemuksen parantamiseksi.

Voit tutustua moniin muihin tällaisiin tekoälytyökaluihin ja niiden sovelluksiin tätä.

spot_img

Uusin älykkyys

spot_img