Kuvan on luonut tekijä käyttäen Midjourneya
 

RAG:n esittely

Jatkuvasti kehittyvässä kielimallien maailmassa yksi vankkumaton menetelmä, joka on erityisen huomionarvoinen, on Retrieval Augmented Generation (RAG), joka sisältää tiedonhaun (IR) elementtejä tekstiä generoivan kielimallin puitteissa, jotta voidaan luoda ihmismäisiä. tekstiä, jonka tavoitteena on olla hyödyllisempi ja tarkempi kuin pelkkä oletuskielimalli. Esittelemme tässä viestissä RAG:n peruskäsitteitä, ja seuraamme seuraavissa viesteissä joidenkin RAG-järjestelmien rakentamista.

RAG yleiskatsaus

Luomme kielimalleja käyttämällä laajoja, yleisiä tietojoukkoja, joita ei ole räätälöity omiin henkilökohtaisiin tai mukautettuihin tietoihisi. Tämän todellisuuden saavuttamiseksi RAG voi yhdistää tietosi olemassa olevaan kielimallin "tietoon". Tämän helpottamiseksi se, mitä on tehtävä ja mitä RAG tekee, on indeksoida tietosi, jotta ne ovat haettavissa. Kun tiedoistasi muodostettu haku suoritetaan, relevantit ja tärkeät tiedot poimitaan indeksoiduista tiedoista, ja niitä voidaan käyttää kyselyssä kielimallia vastaan ​​mallin antaman asiaankuuluvan ja hyödyllisen vastauksen palauttamiseksi. Jokainen tekoälyinsinööri, datatieteilijä tai kehittäjä, joka on kiinnostunut chatbottien, nykyaikaisten tiedonhakujärjestelmien tai muuntyyppisten henkilökohtaisten avustajien rakentamisesta, RAG:n ymmärtäminen ja oman datan hyödyntäminen on erittäin tärkeää.

Yksinkertaisesti sanottuna RAG on uusi tekniikka, joka rikastaa kielimalleja syötteiden hakutoiminnoilla, mikä parantaa kielimalleja sisällyttämällä IR-mekanismeja sukupolviprosessiin, mekanismeja, jotka voivat personoida (lisätä) mallin luontaista "tietoa", jota käytetään generatiivisiin tarkoituksiin.

Yhteenvetona voidaan todeta, että RAG sisältää seuraavat korkean tason vaiheet:

1. Hae tietoja mukautetuista tietolähteistäsi
2. Lisää nämä tiedot kehotteeseen lisäkontekstiksi
3. Pyydä LLM:ää luomaan vastaus lisätyn kehotteen perusteella

 
RAG tarjoaa seuraavat edut verrattuna vaihtoehtoiseen mallin hienosäätöön:

1. RAG:lla ei harjoiteta, joten hienosäätökustannuksia tai aikaa ei tarvita
2. Räätälöidyt tiedot ovat niin tuoreita kuin teet, joten malli voi pysyä tehokkaasti ajan tasalla
3. Tietyt räätälöidyt tietoasiakirjat voidaan viitata prosessin aikana (tai sen jälkeen), jolloin järjestelmä on paljon todennettavissa ja luotettavampi

Lähempi tarkastelu

Tarkemman tarkastelun perusteella voidaan sanoa, että RAG-järjestelmä etenee 5 toimintavaiheen läpi.

1. Lataa: Raakatekstitietojen kerääminen – tekstitiedostoista, PDF-tiedostoista, web-sivuilta, tietokannoista ja muista – on ensimmäinen monista vaiheista, jolloin tekstidata siirretään käsittelyprosessiin, mikä tekee siitä välttämättömän vaiheen prosessissa. Ilman tietojen lataamista RAG ei yksinkertaisesti voi toimia.

2. Hakemisto: Nyt käytössäsi olevat tiedot on jäsenneltävä ja ylläpidettävä hakua, hakua ja kyselyjä varten. Kielimallit käyttävät sisällöstä luotuja vektori upotuksia tietojen numeerisen esityksen saamiseksi sekä tiettyjen metatietojen avulla onnistuneiden hakutulosten mahdollistamiseksi.

3. Varastoi: Indeksi on luomisen jälkeen tallennettava metatietojen rinnalle, jotta tätä vaihetta ei tarvitse toistaa säännöllisesti, mikä mahdollistaa helpomman RAG-järjestelmän skaalauksen.

4. Kysely: Kun tämä hakemisto on paikallaan, sisältö voidaan kulkea indeksoijan ja kielimallin avulla datajoukon käsittelemiseksi erilaisten kyselyjen mukaan.

5. Arvioida: Suorituskyvyn arvioiminen muihin mahdollisiin generatiivisiin vaiheisiin verrattuna on hyödyllistä, olipa kyseessä sitten olemassa olevia prosesseja muutettaessa tai tällaisten järjestelmien luontaista latenssia ja tarkkuutta testattaessa.

Kuvan on luonut tekijä
 

Lyhyt esimerkki

Harkitse seuraavaa yksinkertaista RAG-toteutusta. Kuvittele, että tämä on järjestelmä, joka on luotu välittämään asiakkaiden tiedustelut kuvitteellisesta verkkokaupasta.

1. Ladataan: Sisältö syntyy tuotedokumentaatiosta, käyttäjien arvosteluista ja asiakkaiden syötöstä, ja se on tallennettu useisiin eri muotoihin, kuten ilmoitustauluihin, tietokantoihin ja sovellusliittymiin.

2. Indeksointi: Tuot vektori upotuksia tuotedokumentaatiota ja käyttäjäarvosteluja varten jne. sekä kullekin tietopisteelle määritettyjen metatietojen, kuten tuoteluokan tai asiakasarvion, indeksoinnin.

3. Varastointi: Näin kehitetty indeksi tallennetaan vektorisäilöön, erikoistuneeseen tietokantaan vektorien tallentamista ja optimaalista hakua varten, jolloin upotukset tallennetaan.

4. Kysely: Kun asiakaskysely saapuu, vektorivarastotietokantahaku suoritetaan kysymystekstin perusteella, ja kielimalleja käytetään sitten vastausten luomiseen käyttämällä tämän esiastetietojen alkuperää kontekstina.

5. Arviointi: Järjestelmän suorituskykyä arvioidaan vertaamalla sen suorituskykyä muihin vaihtoehtoihin, kuten perinteiseen kielimallin hakemiseen, mittaamalla mittareita, kuten vastauksen oikeellisuutta, vastausviivettä ja yleistä käyttäjätyytyväisyyttä, jotta voidaan varmistaa, että RAG-järjestelmää voidaan säätää ja hioa tuottamaan ylivoimaista. tuloksia.

Tämän esimerkin läpikäynnin pitäisi antaa sinulle käsitys RAG:n takana olevasta metodologiasta ja sen käytöstä tiedonhakukapasiteetin välittämiseksi kielimallissa.

Yhteenveto

Tämän artikkelin aiheena oli haun lisätyn sukupolven esittely, jossa tekstin luominen ja tiedonhaku yhdistetään kielimallin tulosteen tarkkuuden ja kontekstuaalisen johdonmukaisuuden parantamiseksi. Menetelmä mahdollistaa indeksoituihin lähteisiin tallennettujen tietojen poimimisen ja täydentämisen sisällyttämisen kielimallien tuotteeseen. Tämä RAG-järjestelmä voi tarjota parempaa arvoa pelkkään kielimallin hienosäätöön verrattuna.

RAG-matkamme seuraavat askeleet ovat alan työkalujen oppiminen omien RAG-järjestelmien toteuttamiseksi. Keskitymme ensin LlamaIndexin työkalujen, kuten tietoliittimien, moottoreiden ja sovellusliittimien, hyödyntämiseen RAG:n integroinnin ja sen skaalauksen helpottamiseksi. Mutta säästämme tämän seuraavaa artikkelia varten.

Tulevissa projekteissa rakennamme monimutkaisia ​​RAG-järjestelmiä ja tarkastelemme RAG-teknologian mahdollisia käyttökohteita ja parannuksia. Toiveena on paljastaa monia uusia mahdollisuuksia tekoälyn alalla ja käyttää näitä erilaisia ​​tietolähteitä älykkäiden ja kontekstualisoitujen järjestelmien rakentamiseen.
 
 

Matthew Mayo (@mattmayo13) on tietojenkäsittelytieteen maisterin tutkinto ja tiedon louhinnan tutkinto. Toimitustoimittajana Matthew pyrkii tuomaan monimutkaiset datatieteen käsitteet saataville. Hänen ammatillisia kiinnostuksen kohteitaan ovat luonnollisen kielen käsittely, koneoppimisalgoritmit ja uusien tekoälyjen tutkiminen. Häntä ohjaa missiona demokratisoida tietoa datatiedeyhteisössä. Matthew on koodannut 6-vuotiaasta lähtien.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/retrieval-augmented-generation-where-information-retrieval-meets-text-generation?utm_source=rss&utm_medium=rss&utm_campaign=retrieval-augmented-generation-where-information-retrieval-meets-text-generation