Bild av författare
Att komma åt ChatGPT online är väldigt enkelt – allt du behöver är en internetanslutning och en bra webbläsare. Men genom att göra det kan du äventyra din integritet och data. OpenAI lagrar dina snabba svar och annan metadata för att träna om modellerna. Även om detta kanske inte är ett problem för vissa, kanske andra som är medvetna om integritet föredrar att använda dessa modeller lokalt utan någon extern spårning.
I det här inlägget kommer vi att diskutera fem sätt att använda stora språkmodeller (LLM) lokalt. Det mesta av programvaran är kompatibel med alla större operativsystem och kan enkelt laddas ner och installeras för omedelbar användning. Genom att använda LLM på din bärbara dator har du friheten att välja din egen modell. Du behöver bara ladda ner modellen från HuggingFace-hubben och börja använda den. Dessutom kan du ge dessa applikationer åtkomst till din projektmapp och generera sammanhangsmedvetna svar.
GPT4All är en banbrytande programvara med öppen källkod som gör det möjligt för användare att ladda ner och installera toppmoderna modeller med öppen källkod med lätthet.
Ladda bara ner GPT4ALL från webbplatsen och installera den på ditt system. Välj sedan den modell från panelen som passar dina behov och börja använda den. Om du har CUDA (Nvidia GPU) installerat kommer GPT4ALL automatiskt att börja använda din GPU för att generera snabba svar på upp till 30 tokens per sekund.
Du kan ge åtkomst till flera mappar som innehåller viktiga dokument och kod, och GPT4ALL kommer att generera svar med hjälp av Retrieval-Augmented Generation. GPT4ALL är användarvänligt, snabbt och populärt bland AI-gemenskapen.
Läs bloggen om GPT4ALL för att lära dig mer om funktioner och användningsfall: The Ultimate Open-Source Large Language Model Ecosystem.
LM Studio är en ny programvara som erbjuder flera fördelar jämfört med GPT4ALL. Användargränssnittet är utmärkt, och du kan installera vilken modell som helst från Hugging Face Hub med några få klick. Dessutom ger den GPU-avlastning och andra alternativ som inte är tillgängliga i GPT4ALL. LM Studio är dock en sluten källa, och den har inte möjlighet att generera sammanhangsmedvetna svar genom att läsa projektfiler.
LM Studio erbjuder tillgång till tusentals LLM:er med öppen källkod, vilket gör att du kan starta en lokal slutledningsserver som beter sig som OpenAI:s API. Du kan ändra din LLM:s svar genom det interaktiva användargränssnittet med flera alternativ.
Läs också Kör en LLM lokalt med LM Studio för att lära dig mer om LM Studio och dess nyckelfunktioner.
Ollama är ett kommandoradsgränssnitt (CLI) verktyg som möjliggör snabb drift för stora språkmodeller som Llama 2, Mistral och Gemma. Om du är en hackare eller utvecklare är detta CLI-verktyg ett fantastiskt alternativ. Du kan ladda ner och installera programvaran och använda kommandot `llama run llama2` för att börja använda LLaMA 2-modellen. Du kan hitta andra modellkommandon i GitHub-förvaret.
Det låter dig också starta en lokal HTTP-server som kan integreras med andra applikationer. Du kan till exempel använda Code GPT VSCode-tillägget genom att ange den lokala serveradressen och börja använda den som en AI-kodningsassistent.
Förbättra ditt arbetsflöde för kodning och data med dessa Topp 5 AI-kodningsassistenter.
LLaMA.cpp är ett verktyg som erbjuder både ett CLI och ett grafiskt användargränssnitt (GUI). Det låter dig använda alla LLM:er med öppen källkod lokalt utan krångel. Detta verktyg är mycket anpassningsbart och ger snabba svar på alla frågor, eftersom det är helt skrivet i ren C/C++.
LLaMA.cpp stöder alla typer av operativsystem, CPU:er och GPU:er. Du kan också använda multimodala modeller som LLaVA, BakLLaVA, Obsidian och ShareGPT4V.
Lär dig hur du Kör Mixtral 8x7b på Google Colab gratis använder LLaMA.cpp och Google GPU:er.
Att använda NVIDIA Chatta med RTX, måste du ladda ner och installera Windows 11-applikationen på din bärbara dator. Denna applikation är kompatibel med bärbara datorer som har ett RTX NVIDIA-grafikkort i 30-serien eller 40-serien med minst 8 GB RAM och 50 GB ledigt lagringsutrymme. Dessutom bör din bärbara dator ha minst 16 GB RAM för att kunna köra Chat med RTX smidigt.
Med Chat with RTX kan du köra LLaMA- och Mistral-modeller lokalt på din bärbara dator. Det är en snabb och effektiv applikation som till och med kan lära sig av dokument du tillhandahåller eller YouTube-videor. Det är dock viktigt att notera att Chat with RTX förlitar sig på TensorRTX-LLM, som endast stöds på 30-seriens GPU:er eller nyare.
Om du vill dra nytta av de senaste LLM:erna samtidigt som du håller din data säker och privat, kan du använda verktyg som GPT4All, LM Studio, Ollama, LLaMA.cpp eller NVIDIA Chat med RTX. Varje verktyg har sina egna unika styrkor, oavsett om det är ett lättanvänt gränssnitt, kommandoradstillgänglighet eller stöd för multimodala modeller. Med rätt inställning kan du ha en kraftfull AI-assistent som genererar anpassade sammanhangsmedvetna svar.
Jag föreslår att börja med GPT4All och LM Studio eftersom de täcker de flesta av de grundläggande behoven. Efter det kan du prova Ollama och LLaMA.cpp, och slutligen, testa Chatta med RTX.
Abid Ali Awan (@1abidaliawan) är en certifierad datavetare som älskar att bygga modeller för maskininlärning. För närvarande fokuserar han på att skapa innehåll och skriva tekniska bloggar om maskininlärning och datavetenskap. Abid har en magisterexamen i Technology Management och en kandidatexamen i telekommunikationsteknik. Hans vision är att bygga en AI-produkt med hjälp av ett grafiskt neuralt nätverk för studenter som kämpar med psykisk ohälsa.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop
