Aworan nipasẹ Onkọwe
Wiwọle si ChatGPT lori ayelujara rọrun pupọ - gbogbo ohun ti o nilo ni asopọ intanẹẹti ati aṣawakiri to dara. Sibẹsibẹ, nipa ṣiṣe bẹ, o le jẹ ibaamu aṣiri ati data rẹ. OpenAI tọju awọn idahun kiakia ati metadata miiran lati tun awọn awoṣe ṣe. Lakoko ti eyi le ma jẹ ibakcdun fun diẹ ninu, awọn miiran ti o jẹ mimọ-aṣiri le fẹ lati lo awọn awoṣe wọnyi ni agbegbe laisi ipasẹ ita eyikeyi.
Ninu ifiweranṣẹ yii, a yoo jiroro awọn ọna marun lati lo awọn awoṣe ede nla (LLMs) ni agbegbe. Pupọ julọ sọfitiwia naa ni ibamu pẹlu gbogbo awọn ọna ṣiṣe pataki ati pe o le ṣe igbasilẹ ni rọọrun ati fi sori ẹrọ fun lilo lẹsẹkẹsẹ. Nipa lilo LLMs lori kọǹpútà alágbèéká rẹ, o ni ominira lati yan awoṣe tirẹ. O kan nilo lati ṣe igbasilẹ awoṣe lati ibudo HuggingFace ki o bẹrẹ lilo rẹ. Ni afikun, o le fun awọn ohun elo wọnyi wọle si folda ise agbese rẹ ati ṣe agbekalẹ awọn idahun ti o mọ ọrọ-ọrọ.
GPT4Gbogbo jẹ sọfitiwia orisun ṣiṣi-eti ti o jẹ ki awọn olumulo ṣe igbasilẹ ati fi sori ẹrọ awọn awoṣe orisun orisun-ti-ti-aworan pẹlu irọrun.
Nìkan ṣe igbasilẹ GPT4ALL lati oju opo wẹẹbu ki o fi sii sori ẹrọ rẹ. Nigbamii, yan awoṣe lati inu nronu ti o baamu awọn iwulo rẹ ki o bẹrẹ lilo rẹ. Ti o ba ni CUDA (Nvidia GPU) ti fi sori ẹrọ, GPT4ALL yoo bẹrẹ laifọwọyi ni lilo GPU rẹ lati ṣe awọn idahun iyara ti o to awọn ami-ami 30 fun iṣẹju kan.
O le pese iraye si awọn folda pupọ ti o ni awọn iwe aṣẹ pataki ati koodu, ati GPT4ALL yoo ṣe agbekalẹ awọn idahun nipa lilo Iran Augmented Retrieval. GPT4ALL jẹ ore-olumulo, iyara, ati olokiki laarin agbegbe AI.
Ka bulọọgi naa nipa GPT4ALL lati ni imọ siwaju sii nipa awọn ẹya ati lilo awọn ọran: Awọn Gbẹhin Ṣi-Orisun Tobi Ede Awoṣe ilolupo.
LM Studio jẹ sọfitiwia tuntun ti o funni ni awọn anfani pupọ lori GPT4ALL. Ni wiwo olumulo jẹ o tayọ, ati pe o le fi awoṣe eyikeyi sori ẹrọ lati Hugging Face Hub pẹlu awọn jinna diẹ. Ni afikun, o pese gbigbejade GPU ati awọn aṣayan miiran ti ko si ni GPT4ALL. Bibẹẹkọ, LM Studio jẹ orisun pipade, ati pe ko ni aṣayan lati ṣe ipilẹṣẹ awọn idahun ti o ni oye nipa kika awọn faili iṣẹ akanṣe.
LM Studio nfunni ni iraye si awọn ẹgbẹẹgbẹrun ti orisun-ìmọ LLMs, gbigba ọ laaye lati bẹrẹ olupin ifitonileti agbegbe kan ti o huwa bii OpenAI's API. O le ṣe atunṣe idahun LLM rẹ nipasẹ wiwo olumulo ibaraenisepo pẹlu awọn aṣayan pupọ.
Paapaa, ka Ṣiṣe LLM Ni agbegbe pẹlu LM Studio lati ni imọ siwaju sii nipa LM Studio ati awọn ẹya bọtini rẹ.
Ollama jẹ ohun elo laini aṣẹ-aṣẹ (CLI) ti o jẹ ki iṣẹ ṣiṣe ni iyara fun awọn awoṣe ede nla bii Llama 2, Mistral, ati Gemma. Ti o ba jẹ agbonaeburuwole tabi olupilẹṣẹ, ọpa CLI yii jẹ aṣayan ikọja kan. O le ṣe igbasilẹ ati fi sọfitiwia naa sori ẹrọ ati lo aṣẹ `llama run llama2` lati bẹrẹ lilo awoṣe LLAMA 2. O le wa awọn aṣẹ awoṣe miiran ni ibi ipamọ GitHub.
O tun gba ọ laaye lati bẹrẹ olupin HTTP agbegbe ti o le ṣepọ pẹlu awọn ohun elo miiran. Fun apẹẹrẹ, o le lo Ifaagun koodu GPT VSCode nipa ipese adirẹsi olupin agbegbe ki o bẹrẹ lilo bi oluranlọwọ ifaminsi AI.
Ṣe ilọsiwaju ifaminsi rẹ ati iṣan-iṣẹ data pẹlu iwọnyi Top 5 AI ifaminsi Iranlọwọ.
LLAMA.cpp jẹ ọpa ti o funni ni CLI mejeeji ati Atọka Olumulo Aworan (GUI). O gba ọ laaye lati lo eyikeyi orisun-ìmọ LLM ni agbegbe laisi wahala eyikeyi. Ọpa yii jẹ isọdi gaan ati pese awọn idahun iyara si ibeere eyikeyi, bi o ti kọ patapata ni C/C++ mimọ.
LLAMA.cpp ṣe atilẹyin fun gbogbo awọn oriṣi awọn ọna ṣiṣe, CPUs, ati GPUs. O tun le lo awọn awoṣe multimodal gẹgẹbi LLaVA, BakLLaVA, Obsidian, ati ShareGPT4V.
Ko bi lati Ṣiṣe Mixtral 8x7b Lori Google Colab Fun Ọfẹ lilo LLAMA.cpp ati Google GPUs.
lati lo NVIDIA iwiregbe pẹlu RTX, o nilo lati ṣe igbasilẹ ati fi sori ẹrọ ohun elo Windows 11 lori kọǹpútà alágbèéká rẹ. Ohun elo yii ni ibamu pẹlu awọn kọnputa agbeka ti o ni jara 30 tabi 40 jara RTX NVIDIA eya kaadi pẹlu o kere ju 8GB ti Ramu ati 50GB ti aaye ibi-itọju ọfẹ. Ni afikun, kọǹpútà alágbèéká rẹ yẹ ki o ni o kere ju 16GB ti Ramu lati ṣiṣẹ Iwiregbe pẹlu RTX laisiyonu.
Pẹlu Wiregbe pẹlu RTX, o le ṣiṣe LLMA ati awọn awoṣe Mistral ni agbegbe lori kọǹpútà alágbèéká rẹ. O jẹ ohun elo iyara ati lilo daradara ti o le kọ ẹkọ paapaa lati awọn iwe aṣẹ ti o pese tabi awọn fidio YouTube. Sibẹsibẹ, o ṣe pataki lati ṣe akiyesi pe Wiregbe pẹlu RTX gbarale TensorRTX-LLM, eyiti o jẹ atilẹyin nikan lori 30 jara GPUs tabi tuntun.
Ti o ba fẹ lati lo anfani awọn LLM tuntun lakoko ti o tọju data rẹ lailewu ati ikọkọ, o le lo awọn irinṣẹ bii GPT4All, LM Studio, Ollama, LLAMA.cpp, tabi NVIDIA Chat pẹlu RTX. Ọpa kọọkan ni awọn agbara alailẹgbẹ tirẹ, boya o jẹ wiwo irọrun-lati-lo, iraye si laini aṣẹ, tabi atilẹyin fun awọn awoṣe multimodal. Pẹlu iṣeto ti o tọ, o le ni oluranlọwọ AI ti o lagbara ti o ṣe agbejade awọn idahun ipo-ọrọ ti adani.
Mo daba bẹrẹ pẹlu GPT4All ati LM Studio bi wọn ṣe bo pupọ julọ awọn iwulo ipilẹ. Lẹhin iyẹn, o le gbiyanju Ollama ati LLAMA.cpp, ati nikẹhin, gbiyanju Wiregbe pẹlu RTX.
Abid Ali Awan (@1abidaliawan) jẹ alamọdaju onimọ-jinlẹ data ti o ni ifọwọsi ti o nifẹ kikọ awọn awoṣe ikẹkọ ẹrọ. Lọwọlọwọ, o ni idojukọ lori ẹda akoonu ati kikọ awọn bulọọgi imọ-ẹrọ lori ẹkọ ẹrọ ati awọn imọ-ẹrọ imọ-jinlẹ data. Abid ni oye oye oye ni Isakoso Imọ-ẹrọ ati oye oye oye ni Imọ-ẹrọ Telecommunication. Iranran rẹ ni lati kọ ọja AI kan nipa lilo nẹtiwọọki nkankikan ayaworan fun awọn ọmọ ile-iwe ti o tiraka pẹlu aisan ọpọlọ.
- SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
- PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
- PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
- PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
- PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
- Orisun: https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop
