Afbeelding door auteur
 

Online toegang krijgen tot ChatGPT is heel eenvoudig: het enige dat u nodig heeft is een internetverbinding en een goede browser. Als u dit wel doet, brengt u mogelijk uw privacy en gegevens in gevaar. OpenAI slaat uw snelle antwoorden en andere metagegevens op om de modellen opnieuw te trainen. Hoewel dit voor sommigen misschien geen probleem is, geven anderen die privacybewust zijn er misschien de voorkeur aan om deze modellen lokaal te gebruiken zonder enige externe tracking.

In dit bericht bespreken we vijf manieren om grote taalmodellen (LLM's) lokaal te gebruiken. Het grootste deel van de software is compatibel met alle belangrijke besturingssystemen en kan eenvoudig worden gedownload en geïnstalleerd voor onmiddellijk gebruik. Door LLM's op uw laptop te gebruiken, heeft u de vrijheid om uw eigen model te kiezen. U hoeft alleen maar het model te downloaden van de HuggingFace-hub en het te gaan gebruiken. Bovendien kunt u deze toepassingen toegang verlenen tot uw projectmap en contextbewuste reacties genereren.

GPT4Alle is geavanceerde open-sourcesoftware waarmee gebruikers eenvoudig de modernste open-sourcemodellen kunnen downloaden en installeren. 

Download GPT4ALL eenvoudig van de website en installeer het op uw systeem. Kies vervolgens het model uit het paneel dat bij uw behoeften past en begin het te gebruiken. Als je CUDA (Nvidia GPU) hebt geïnstalleerd, zal GPT4ALL automatisch je GPU gaan gebruiken om snelle reacties van maximaal 30 tokens per seconde te genereren.

U kunt toegang verlenen tot meerdere mappen met belangrijke documenten en code, en GPT4ALL genereert antwoorden met behulp van Retrieval-Augmented Generation. GPT4ALL is gebruiksvriendelijk, snel en populair onder de AI-gemeenschap.

Lees de blog over GPT4ALL voor meer informatie over functies en gebruiksscenario's: Het ultieme open-source grote taalmodel-ecosysteem.

LM Studio is een nieuwe software die verschillende voordelen biedt ten opzichte van GPT4ALL. De gebruikersinterface is uitstekend en je kunt elk model van Hugging Face Hub met een paar klikken installeren. Bovendien biedt het GPU-offloading en andere opties die niet beschikbaar zijn in GPT4ALL. LM Studio is echter een gesloten bron en heeft niet de mogelijkheid om contextbewuste reacties te genereren door projectbestanden te lezen.

LM Studio biedt toegang tot duizenden open-source LLM's, waardoor u een lokale inferentieserver kunt starten die zich gedraagt ​​als de API van OpenAI. U kunt het antwoord van uw LLM wijzigen via de interactieve gebruikersinterface met meerdere opties.

Lees ook Voer lokaal een LLM uit met LM Studio voor meer informatie over LM Studio en de belangrijkste functies ervan.

Ollama is een opdrachtregelinterface (CLI) die een snelle werking mogelijk maakt voor grote taalmodellen zoals Llama 2, Mistral en Gemma. Als u een hacker of ontwikkelaar bent, is deze CLI-tool een fantastische optie. U kunt de software downloaden en installeren en de opdracht `the llama run llama2` gebruiken om het LLaMA 2-model te gaan gebruiken. U kunt andere modelopdrachten vinden in de GitHub-repository. 

Hiermee kunt u ook een lokale HTTP-server starten die kan worden geïntegreerd met andere applicaties. U kunt bijvoorbeeld de Code GPT VSCode-extensie gebruiken door het lokale serveradres op te geven en deze te gaan gebruiken als AI-coderingsassistent.

Verbeter hiermee uw codeer- en gegevensworkflow Top 5 AI-coderingsassistenten. 

LLaMA.cpp is een tool die zowel een CLI als een grafische gebruikersinterface (GUI) biedt. Hiermee kunt u zonder problemen alle open-source LLM's lokaal gebruiken. Deze tool is in hoge mate aanpasbaar en biedt snelle antwoorden op elke vraag, omdat deze volledig in pure C/C++ is geschreven. 

LLaMA.cpp ondersteunt alle soorten besturingssystemen, CPU's en GPU's. U kunt ook multimodale modellen gebruiken, zoals LLaVA, BakLLaVA, Obsidian en ShareGPT4V.

Leer hoe u Voer Mixtral 8x7b gratis uit op Google Colab met behulp van LLaMA.cpp en Google GPU's.

Te gebruiken NVIDIA-chat met RTX, moet u de Windows 11-applicatie downloaden en installeren op uw laptop. Deze applicatie is compatibel met laptops met een 30-serie of 40-serie RTX NVIDIA grafische kaart met minimaal 8 GB RAM en 50 GB vrije opslagruimte. Bovendien moet uw laptop minimaal 16 GB RAM hebben om Chat met RTX soepel te laten verlopen.

Met Chat met RTX kunt u LLaMA- en Mistral-modellen lokaal op uw laptop uitvoeren. Het is een snelle en efficiënte applicatie die zelfs kan leren van documenten die u aanlevert of YouTube-video's. Het is echter belangrijk op te merken dat Chat met RTX afhankelijk is van TensorRTX-LLM, dat alleen wordt ondersteund op GPU's uit de 30-serie of nieuwer.

Als u wilt profiteren van de nieuwste LLM's en tegelijkertijd uw gegevens veilig en privé wilt houden, kunt u tools als GPT4All, LM Studio, Ollama, LLaMA.cpp of NVIDIA Chat met RTX gebruiken. Elke tool heeft zijn eigen unieke sterke punten, of het nu gaat om een ​​gebruiksvriendelijke interface, toegankelijkheid via de opdrachtregel of ondersteuning voor multimodale modellen. Met de juiste configuratie beschikt u over een krachtige AI-assistent die aangepaste, contextbewuste reacties genereert.

Ik stel voor om te beginnen met GPT4All en LM Studio, omdat deze de meeste basisbehoeften dekken. Daarna kunt u Ollama en LLaMA.cpp proberen, en ten slotte Chatten met RTX.
 
 

Abid Ali Awan (@1abidaliawan) is een gecertificeerde datawetenschapper-professional die dol is op het bouwen van machine learning-modellen. Momenteel richt hij zich op het creëren van content en het schrijven van technische blogs over machine learning en data science-technologieën. Abid heeft een Master in Technologie Management en een Bachelor in Telecommunicatie Engineering. Zijn visie is om een ​​AI-product te bouwen met behulp van een grafisch neuraal netwerk voor studenten die worstelen met een psychische aandoening.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop