Awọn LLM 15+ Kere Ti O Le Ṣiṣe Lori Awọn Ẹrọ Agbegbe

ifihan

Fojuinu ni lilo agbara awọn awoṣe ede ti ilọsiwaju taara lori kọnputa ti ara ẹni tabi ẹrọ alagbeka laisi gbigbekele awọn iṣẹ awọsanma tabi awọn olupin ti o lagbara. Ohun alaragbayida, ṣe ko? O dara, awọn awoṣe ede kekere wọnyi jẹ ki ala yii di otito. Ni NLP, a ti ṣe akiyesi dide ti awọn awoṣe ede nla ti o ṣajọpọ ati ṣẹda ọrọ gẹgẹ bi eniyan. Lakoko ti awọn abajade nigbagbogbo jẹ iyalẹnu, awọn ibeere iširo jẹ iwọn kanna. Bi abajade, o nira lati ṣiṣe wọn ni ita ti ile-iṣẹ iṣelọpọ kan. Ṣugbọn iyẹn n yipada ni iyara! Irohin ti o dara ni pe awọn oniwadi ati awọn onimọ-ẹrọ ti tú ọkan wọn sinu iṣelọpọ LLM kekere ti o to lati ṣiṣẹ lori awọn ẹrọ agbegbe rẹ ati ni agbara to lati lo si iṣẹ ṣiṣe to wulo.

Ninu nkan yii, a yoo ṣawari awọn awoṣe ede ti o kere julọ ati alagbara julọ ti o le ṣiṣẹ ni agbegbe lati itunu ti ẹrọ tirẹ. Awọn iyanilẹnu iwapọ wọnyi kọlu iwọntunwọnsi pipe laarin iṣẹ ṣiṣe ati ṣiṣe awọn orisun, ṣiṣi aye ti o ṣeeṣe fun awọn idagbasoke, awọn oniwadi, ati awọn alara bakanna.

Atọka akoonu

Kini Awọn anfani ti Awọn LLM Kekere?

Eyi ni diẹ ninu awọn anfani bọtini ti lilo awọn LLM kekere (Awọn awoṣe Ede nla) ni akawe si awọn ẹlẹgbẹ nla wọn:

Isalẹ Hardware ibeere: Awọn LLM kekere ni awọn aye ti o dinku pupọ ati nilo agbara iširo kere, ṣiṣe wọn jẹ apẹrẹ fun ṣiṣe lori awọn ẹrọ pẹlu awọn ohun elo ohun elo to lopin, gẹgẹbi awọn kọnputa agbeka, awọn fonutologbolori, ati awọn ọna ṣiṣe ti a fi sii. Eyi jẹ ki wọn wa ni iraye si ati ṣe ijọba tiwantiwa nipa lilo awọn LLM fun titobi awọn olumulo ati awọn ohun elo.
Iyara Inference: Pẹlu awọn paramita diẹ ati awọn iwọn awoṣe ti o kere ju, awọn LLM kekere le ṣe itọka yiyara, eyiti o tumọ si awọn akoko idahun iyara ati airi kekere. Eyi ṣe pataki ni pataki fun awọn ohun elo akoko gidi bii ibaraẹnisọrọ AI, nibiti idahun jẹ pataki.
Agbara Agbara Kekere: Awọn awoṣe ti o kere julọ nilo agbara ti o kere ju lati ṣiṣẹ, ṣiṣe wọn ni agbara-daradara ati ore ayika. Eyi jẹ anfani paapaa fun awọn ẹrọ ti o ni agbara batiri, nibiti ṣiṣe agbara jẹ pataki.
Rọrun imuṣiṣẹ ati Portability: Awọn LLM kekere rọrun lati ran ati pinpin nitori iwọn iwapọ wọn. Wọn le ṣepọ sinu ọpọlọpọ awọn ohun elo ati awọn ọna ṣiṣe laisi ohun elo amọja tabi awọn amayederun iwọn-nla. Gbigbe gbigbe yii ngbanilaaye fun isọdọmọ ti o gbooro ati ki o mu ki idagbasoke awọn ohun elo aipin diẹ sii ati orisun-eti.
Ìpamọ ati Data nupojipetọ: Nipa ṣiṣe awọn LLM kekere ni agbegbe, awọn olumulo le ṣetọju iṣakoso nla lori data wọn ati dinku iwulo lati firanṣẹ alaye ifura si awọn olupin latọna jijin tabi awọn iru ẹrọ awọsanma. Eyi le ṣe iranlọwọ lati koju awọn ifiyesi ikọkọ ati ni ibamu pẹlu awọn ilana aabo data.
Iye owo-ṣiṣeAwọn awoṣe ti o kere julọ ni gbogbogbo nilo awọn orisun iṣiro diẹ, eyiti o le tumọ si awọn idiyele iṣẹ ṣiṣe kekere, pataki nigbati o nṣiṣẹ lori awọn iru ẹrọ awọsanma tabi ohun elo iyalo. Yi iye owo-doko le ṣe LLM imọ ẹrọ diẹ sii ni iraye si awọn ẹgbẹ kekere ati awọn olupilẹṣẹ kọọkan.
Awọn ohun elo pataki: Lakoko ti awọn awoṣe ti o kere ju le ma ṣe aṣeyọri ipele kanna ti iṣẹ bi awọn awoṣe ti o tobi ju lori awọn iṣẹ-ṣiṣe gbogbogbo, wọn le ṣe atunṣe daradara ati iṣapeye fun awọn ohun elo kan pato tabi awọn ibugbe, ti o le ṣe afihan awọn awoṣe ti o tobi ju ni awọn agbegbe pataki naa.

O ṣe pataki lati ṣe akiyesi pe awọn anfani ti awọn LLM kekere wa pẹlu awọn iṣowo-pipa ni iṣẹ ati awọn agbara ni akawe si awọn ẹlẹgbẹ nla wọn. Bibẹẹkọ, awọn anfani LLMs kekere ni ṣiṣe awọn orisun, gbigbe gbigbe, ati ṣiṣe idiyele le jẹ ki wọn jẹ yiyan ọranyan fun ọpọlọpọ awọn ohun elo nibiti iṣẹ ṣiṣe-giga kii ṣe ibeere pataki.

Awọn LLM ti o kere julọ O le Ṣiṣe lori Awọn ẹrọ Agbegbe

DistilBERT

Iwọn awoṣe: Awọn ipilẹ ti ikede ni o ni ni ayika 66M sile, significantly kere ju BERT ká 110M sile.
Apejuwe: DistilBERT jẹ ẹya distilled ti awoṣe BERT, ti a ṣe lati jẹ kere ati yiyara lakoko idaduro pupọ julọ iṣẹ BERT. O nlo awọn imuposi distillation imo lati funmorawon awoṣe BERT nla sinu ẹya ti o kere ju, ti o jẹ ki o munadoko diẹ sii ati rọrun lati ran awọn ẹrọ agbegbe lọ.
Hardware ibeere: Iwọn iwapọ DistilBERT jẹ ki o ṣiṣẹ lori ọpọlọpọ awọn ẹrọ agbegbe, pẹlu kọǹpútà alágbèéká, kọǹpútà alágbèéká, ati paapaa awọn ẹrọ alagbeka ti o ga julọ.

Ọna asopọ Oju Dimọra: DistilBERT

TinyBERT

Iwọn awoṣe: TinyBERT-4 ni ayika 14M paramita, nigba ti TinyBERT-6 ni ayika 67M.
Apejuwe: TinyBERT jẹ ẹya ani diẹ iwapọ ti BERT, ni idagbasoke nipasẹ awọn oluwadi ni Carnegie Mellon University ati Google Brain. O nlo awọn imọ-ẹrọ ilọsiwaju bii ọlọgbọn-ọlọgbọn ati distillation akiyesi lati ṣaṣeyọri funmorawon awoṣe pataki lakoko mimu iṣẹ ṣiṣe ifigagbaga lori ọpọlọpọ awọn iṣẹ ṣiṣe NLP.
Hardware ibeere: Iwọn kekere ti TinyBERT jẹ ki o ṣiṣẹ lori ọpọlọpọ awọn ẹrọ agbegbe, pẹlu awọn kọnputa agbeka kekere, awọn eto ifibọ, ati awọn ẹrọ alagbeka.

Ọna asopọ Oju Dimọra: TinyBERT

MobileBERT

Iwọn awoṣe: MobileBERT ni ayika 25M paramita, significantly kere ju awọn atilẹba BERT mimọ.
Apejuwe: MobileBERT jẹ awoṣe BERT iwapọ ati lilo daradara fun alagbeka ati awọn ẹrọ eti. O nlo awọn ilana bii distillation imo ati titobi lati dinku iwọn awoṣe lakoko mimu iṣẹ ṣiṣe giga lori ọpọlọpọ awọn iṣẹ ṣiṣe NLP.
Hardware ibeere: Gẹgẹbi orukọ ṣe daba, MobileBERT jẹ iṣapeye fun ṣiṣiṣẹ lori awọn ẹrọ alagbeka ati awọn agbegbe ti o ni agbara awọn orisun miiran.

Ọna asopọ Oju Dimọra: MobileBERT

ALBERT

Iwọn awoṣe: O yatọ da lori iṣeto ni; ọkan ninu awọn ti o kere julọ jẹ ipilẹ ALBERT pẹlu awọn ipele 12 ati awọn ori akiyesi 12.
Apejuwe: ALBERT (A Lite BERT) jẹ apẹrẹ fun lilo iranti daradara ati itọkasi iyara. O ṣe ẹya ẹrọ pinpin paramita-Layer agbelebu ati iwọn ifibọ dinku. O munadoko fun ọpọlọpọ awọn iṣẹ ṣiṣe NLP lakoko ti o fẹẹrẹ ju BERT atilẹba.
Hardware ibeere: Apẹrẹ daradara ti ALBERT jẹ ki o ṣiṣẹ lori ọpọlọpọ awọn ẹrọ agbegbe pẹlu agbara iwọntunwọnsi.

Ọna asopọ Oju Dimọra: ALBERT

GPT-2 kekere

Iwọn awoṣe: GPT-2 Kekere ni o ni ayika 117M sile, significantly kere ju awọn ti o tobi GPT-2 si dede.
Apejuwe: GPT-2 Kekere jẹ ẹya ti o kere ju ti GPT-2 olokiki (Generative Pre-trained Transformer 2) awoṣe ni idagbasoke nipasẹ OpenAI. Lakoko ti kii ṣe iwapọ bi diẹ ninu awọn awoṣe miiran, GPT-2 Small tun jẹ iwuwo fẹẹrẹ ati pe o le ṣee lo fun awọn iṣẹ ṣiṣe bii iran ọrọ, akopọ, ati awoṣe ede.
Hardware ibeere: GPT-2 Kekere le ṣee ṣiṣẹ lori awọn kọnputa ti ara ẹni pẹlu awọn alaye ohun elo iwọntunwọnsi, gẹgẹbi awọn kọnputa agbeka aarin tabi awọn kọǹpútà alágbèéká.

Ọna asopọ Oju Dimọra: GPT-2 kekere

DeciCoder-1B

Iwọn awoṣe: 1 bilionu paramita
Apejuwe: DeciCoder-1B jẹ awoṣe ede ti o ni idojukọ lori ipilẹṣẹ koodu ati oye. O le ṣe iranlọwọ pẹlu awọn iṣẹ ṣiṣe ifaminsi bii ipari koodu, itumọ laarin awọn ede siseto, ati koodu asọye. O ti ni ikẹkọ lori koposi nla ti koodu orisun ati awọn apejuwe ede adayeba.
Hardware ibeere: Pẹlu iwọn paramita 1 bilionu rẹ ti o kere ju, DeciCoder-1B le ṣiṣẹ lori ọpọlọpọ awọn ẹrọ agbegbe bii kọǹpútà alágbèéká, kọǹpútà alágbèéká, ati awọn ẹrọ alagbeka giga-opin giga tabi awọn kọnputa agbeka ẹyọkan.

Ọna asopọ Oju Dimọra: DeciCoder – 1B

Phi-1.5

Iwọn awoṣe: 1.5 bilionu paramita
Apejuwe: Phi-1.5 jẹ apẹrẹ ede gbogbogbo ti o lagbara lati ṣe ipilẹṣẹ ọrọ, dahun awọn ibeere, ati oye ede adayeba, ati awọn iṣẹ-ṣiṣe NLP miiran. O ti ṣe apẹrẹ lati ṣe deede si awọn agbegbe ati awọn iṣẹ-ṣiṣe ti o yatọ nipasẹ ṣiṣe-tuntun tabi titan.
Hardware ibeere: Phi-1.5 ká iwapọ 1.5 bilionu iwọn paramita faye gba o lati wa ni ransogun lori agbegbe awọn ẹrọ pẹlu dede iširo oro, gẹgẹ bi awọn kọǹpútà alágbèéká, tabili, ati oyi-opin mobile tabi nikan-board ẹrọ iširo.

Ọna asopọ Oju Dimọra: Phi-1.5

Dolly-v2-3b

Iwọn awoṣe: 3 bilionu paramita
ApejuweDolly-v2-3b jẹ apẹẹrẹ ede ti o tẹle itọnisọna ti o tayọ ni agbọye ati ṣiṣe awọn alaye, awọn igbesẹ-ọpọ-igbesẹ ati awọn itọnisọna kọja awọn iṣẹ-ṣiṣe.
Hardware ibeere: Pẹlu awọn iṣiro bilionu 3, Dolly-v2-3b nilo awọn ẹrọ agbegbe pẹlu iwọntunwọnsi si agbara iširo giga, bii awọn kọnputa agbeka giga-giga, kọǹpútà alágbèéká, tabi awọn ibi iṣẹ.

Ọna asopọ Oju Dimọra: Dolly-v2-3b

StableLM-Zephyr-3B

Iwọn awoṣe: 3 bilionu paramita
Apejuwe: StableLM-Zephyr-3B jẹ awoṣe ede ti a kọ lati pese awọn idahun ti o gbẹkẹle ati otitọ. O ṣe apẹrẹ lati jẹ awoṣe iduroṣinṣin ati igbẹkẹle fun ọpọlọpọ awọn iṣẹ ṣiṣe ti ede adayeba.
Awọn ibeere Hardware: Bii Dolly-v2-3b, awọn paramita bilionu 3 StableLM-Zephyr-3B le ṣiṣẹ lori awọn ẹrọ agbegbe pẹlu iwọntunwọnsi si awọn agbara iširo giga, gẹgẹbi awọn kọnputa agbeka giga-giga, awọn tabili itẹwe, tabi awọn ibi iṣẹ.

Ọna asopọ Oju Dimọra: StableLM-Zephyr-3B

DeciLM-7B

Iwọn awoṣe: 7 bilionu paramita
Apejuwe: DeciLM-7B jẹ awoṣe ede gbogbogbo-idi fun ọpọlọpọ awọn iṣẹ ṣiṣe ti ede adayeba. Iwọn paramita bilionu 7 ti o tobi julọ nfunni ni ilọsiwaju iṣẹ lori awọn awoṣe kekere lakoko ti o tun jẹ iwapọ to fun imuṣiṣẹ agbegbe.
Hardware ibeere: Lati ṣiṣẹ DeciLM-7B ni agbegbe, awọn olumulo yoo nilo iraye si awọn ọna ṣiṣe pẹlu ohun elo ti o lagbara diẹ sii, gẹgẹbi awọn tabili itẹwe giga-giga tabi awọn iṣẹ ṣiṣe pẹlu awọn GPU ti o lagbara tabi awọn TPUs.

Ọna asopọ Oju Dimọra: DeciLM-7B

Mistral-7B-Itọnisọna-v0.2

Iwọn awoṣe: 7 bilionu paramita
Apejuwe: Mistral-7B-Instruct-v0.2 jẹ ẹya ẹkọ-atẹle ede awoṣe ti o le fe ni mu eka olona-igbese ilana ati awọn iṣẹ-ṣiṣe.
Hardware ibeere: Gege si DeciLM-7B, Mistral-7B-Instruct-v0.2 nilo ohun elo agbegbe ti o ga julọ, gẹgẹbi awọn kọǹpútà alágbèéká ti o lagbara tabi awọn iṣẹ-ṣiṣe, lati ṣiṣe awọn ipilẹ 7 bilionu rẹ.

Ọna asopọ Oju Dimọra: Mistral-7B-Itọnisọna-v0.2

Orca-2-7B

Iwọn awoṣe: 7 bilionu paramita
Apejuwe: Orca-2-7B jẹ awoṣe ede orisun-ìmọ ti o pese ailewu, otitọ, ati awọn idahun ti o ni ibamu si eniyan. O ṣe ifọkansi lati ṣe agbejade awọn abajade ti o ni ibamu pẹlu awọn iye eniyan ati ilana iṣe.
Hardware ibeere: Awọn paramita 7 bilionu Orca-2-7B nilo ohun elo agbegbe ti o lagbara bi awọn kọǹpútà alágbèéká ti o ga julọ tabi awọn ibi iṣẹ lati ṣiṣẹ daradara.

Ọna asopọ Oju Dimọra: Orca-2-7B

Amber

Iwọn awoṣe: 7 bilionu paramita
Apejuwe: Amber jẹ awoṣe ede iṣẹ-ṣiṣe pupọ ti a ṣe apẹrẹ lati mu ọpọlọpọ awọn iṣẹ ṣiṣe ṣiṣe ede adayeba pẹlu iṣẹ ṣiṣe giga kọja awọn agbegbe ati awọn ohun elo.
Hardware ibeere: Ṣiṣe awọn aye-aye 7 bilionu Amber ni agbegbe nilo iraye si ohun elo ti o ga julọ, gẹgẹbi awọn kọǹpútà alágbèéká ti o lagbara tabi awọn ibi iṣẹ pẹlu awọn GPU ti o lagbara tabi awọn TPUs.

Ọna asopọ Oju Dimọra: Amber

ṢiiHathi-7B-Hi-v0.1-Ipilẹ

Iwọn awoṣe: 7 bilionu paramita
Apejuwe: OpenHathi-7B-Hi-v0.1-Base jẹ awoṣe ede Hindi nla kan, ọkan ninu awọn awoṣe gbangba ti o tobi julọ fun ede Hindi. O le loye ati ṣe ipilẹṣẹ ọrọ Hindi.
Hardware ibeere: Gẹgẹbi awọn awoṣe 7B miiran, OpenHathi-7B-Hi-v0.1-Base nilo ohun elo agbegbe ti o ga julọ, gẹgẹbi awọn kọǹpútà alágbèéká ti o lagbara tabi awọn ibudo iṣẹ, lati ṣiṣẹ daradara.

Ọna asopọ Oju Dimọra: ṢiiHathi-7B-Hi-v0.1-Ipilẹ

SOLAR-10.7B-v1.0

Iwọn awoṣe: 10.7 bilionu paramita
Apejuwe: SOLAR-10.7B-v1.0 jẹ awoṣe ede gbogbogbo ti o tobi titari awọn opin ti ohun ti o le ṣiṣẹ ni agbegbe lori ohun elo olumulo. O funni ni iṣẹ imudara fun ọpọlọpọ awọn iṣẹ ṣiṣe NLP.
Hardware ibeere: Lati ran SOLAR-10.7B-v1.0 ni agbegbe, awọn olumulo yoo nilo iraye si ohun elo olumulo ti o ga julọ pẹlu awọn GPU ti o lagbara tabi awọn iṣeto GPU-pupọ.

Ọna asopọ Oju Dimọra: SOLAR-10.7B-v1.0

NexusRaven-V2-13B

Iwọn awoṣe: 13 bilionu paramita
Apejuwe: NexusRaven-V2-13B jẹ awoṣe ede ti o tobi ti o ni idojukọ si iran ọrọ-ìmọ-ìmọ kọja awọn oriṣiriṣi awọn ibugbe ati awọn ohun elo.
Hardware ibeere: Ni awọn iṣiro 13 bilionu, NexusRaven-V2-13B nilo ohun elo ti o lagbara pupọ, gẹgẹbi awọn iṣẹ-ṣiṣe giga-giga tabi awọn iṣeto GPU-pupọ, lati ṣiṣẹ ni agbegbe lori awọn ẹrọ onibara.

Ọna asopọ Oju Dimọra: NexusRaven-V2-13B

Lakoko ti awọn LLM iwapọ wọnyi nfunni ni gbigbe pataki ati awọn anfani ṣiṣe awọn orisun, o ṣe pataki lati ṣe akiyesi pe wọn le ma ṣaṣeyọri ipele iṣẹ ṣiṣe kanna bi awọn ẹlẹgbẹ nla wọn lori awọn iṣẹ ṣiṣe NLP eka kan. Sibẹsibẹ, fun ọpọlọpọ awọn ohun elo ti ko nilo iṣẹ-ti-ti-aworan, awọn awoṣe kekere wọnyi le jẹ ojutu ti o wulo ati wiwọle, paapaa nigbati o nṣiṣẹ lori awọn ẹrọ agbegbe pẹlu awọn ohun elo iṣiro to lopin.

ipari

Ni ipari, wiwa awọn awoṣe ede kekere ti o le ṣiṣẹ ni agbegbe lori awọn ẹrọ rẹ jẹ ami igbesẹ pataki siwaju ni AI ati NLP. Awọn awoṣe wọnyi nfunni ni idapọpọ pipe ti agbara, ṣiṣe, ati iraye si, gbigba ọ laaye lati ṣe awọn iṣẹ ṣiṣe sisẹ ede adayeba ti ilọsiwaju laisi gbigbekele awọn iṣẹ awọsanma tabi awọn ile-iṣẹ data ti o lagbara. Bi o ṣe n ṣe idanwo pẹlu awọn LLM iwapọ wọnyi, o ṣii awọn ọna tuntun fun ĭdàsĭlẹ ati ẹda ninu awọn iṣẹ akanṣe rẹ, boya o jẹ olupilẹṣẹ ti igba, oniwadi, tabi alafẹfẹ. Awọn ojo iwaju AI ko ni opin si awọn awoṣe nla; dipo, o jẹ nipa mimu ki agbara ti ohun elo ti o ni tẹlẹ. Ṣe afẹri kini awọn awoṣe kekere sibẹsibẹ alagbara le ṣaṣeyọri fun ọ!

Mo nireti pe o rii nkan yii ni oye. Ti o ba ni awọn imọran eyikeyi nipa nkan naa, sọ asọye ni isalẹ. Fun awọn nkan diẹ sii, o le tọka si eyi asopọ.

SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
Orisun: https://www.analyticsvidhya.com/blog/2024/04/smallest-llms-that-you-can-run-on-local-devices/

Generative Data oye

Awọn LLM 15+ ti o kere julọ ti O le Ṣiṣe lori Awọn ẹrọ Agbegbe