Εικόνα από συγγραφέα
 

Η πρόσβαση στο ChatGPT στο διαδίκτυο είναι πολύ απλή – το μόνο που χρειάζεστε είναι μια σύνδεση στο διαδίκτυο και ένα καλό πρόγραμμα περιήγησης. Ωστόσο, με αυτόν τον τρόπο, ενδέχεται να θέσετε σε κίνδυνο το απόρρητο και τα δεδομένα σας. Το OpenAI αποθηκεύει τις άμεσες απαντήσεις σας και άλλα μεταδεδομένα για να επανεκπαιδεύσει τα μοντέλα. Αν και αυτό μπορεί να μην είναι ανησυχητικό για κάποιους, άλλοι που έχουν επίγνωση του απορρήτου μπορεί να προτιμούν να χρησιμοποιούν αυτά τα μοντέλα τοπικά χωρίς εξωτερική παρακολούθηση.

Σε αυτήν την ανάρτηση, θα συζητήσουμε πέντε τρόπους χρήσης μεγάλων γλωσσικών μοντέλων (LLM) τοπικά. Το μεγαλύτερο μέρος του λογισμικού είναι συμβατό με όλα τα κύρια λειτουργικά συστήματα και μπορεί εύκολα να ληφθεί και να εγκατασταθεί για άμεση χρήση. Χρησιμοποιώντας LLM στον φορητό υπολογιστή σας, έχετε την ελευθερία να επιλέξετε το δικό σας μοντέλο. Απλώς πρέπει να κατεβάσετε το μοντέλο από τον κόμβο HuggingFace και να αρχίσετε να το χρησιμοποιείτε. Επιπλέον, μπορείτε να παραχωρήσετε σε αυτές τις εφαρμογές πρόσβαση στο φάκελο του έργου σας και να δημιουργήσετε απαντήσεις με επίγνωση του περιβάλλοντος.

GPT4All είναι ένα λογισμικό αιχμής ανοιχτού κώδικα που επιτρέπει στους χρήστες να κατεβάζουν και να εγκαθιστούν με ευκολία υπερσύγχρονα μοντέλα ανοιχτού κώδικα. 

Απλώς κατεβάστε το GPT4ALL από τον ιστότοπο και εγκαταστήστε το στο σύστημά σας. Στη συνέχεια, επιλέξτε το μοντέλο από τον πίνακα που ταιριάζει στις ανάγκες σας και ξεκινήστε να το χρησιμοποιείτε. Εάν έχετε εγκαταστήσει το CUDA (Nvidia GPU), το GPT4ALL θα αρχίσει αυτόματα να χρησιμοποιεί τη GPU σας για να δημιουργεί γρήγορες απαντήσεις έως και 30 tokens ανά δευτερόλεπτο.

Μπορείτε να παρέχετε πρόσβαση σε πολλούς φακέλους που περιέχουν σημαντικά έγγραφα και κώδικα και το GPT4ALL θα δημιουργήσει απαντήσεις χρησιμοποιώντας την Ανάκτηση-επαυξημένη γενιά. Το GPT4ALL είναι φιλικό προς το χρήστη, γρήγορο και δημοφιλές στην κοινότητα AI.

Διαβάστε το ιστολόγιο σχετικά με το GPT4ALL για να μάθετε περισσότερα σχετικά με τις δυνατότητες και τις περιπτώσεις χρήσης: Το απόλυτο οικοσύστημα ανοιχτού κώδικα μεγάλων γλωσσών.

LM Studio είναι ένα νέο λογισμικό που προσφέρει πολλά πλεονεκτήματα σε σχέση με το GPT4ALL. Η διεπαφή χρήστη είναι εξαιρετική και μπορείτε να εγκαταστήσετε οποιοδήποτε μοντέλο από το Hugging Face Hub με μερικά κλικ. Επιπλέον, παρέχει εκφόρτωση GPU και άλλες επιλογές που δεν είναι διαθέσιμες στο GPT4ALL. Ωστόσο, το LM Studio είναι μια κλειστή πηγή και δεν έχει την επιλογή να δημιουργήσει απαντήσεις με επίγνωση του περιβάλλοντος διαβάζοντας αρχεία έργου.

Το LM Studio προσφέρει πρόσβαση σε χιλιάδες LLM ανοιχτού κώδικα, επιτρέποντάς σας να ξεκινήσετε έναν τοπικό διακομιστή συμπερασμάτων που συμπεριφέρεται όπως το API του OpenAI. Μπορείτε να τροποποιήσετε την απόκριση του LLM σας μέσω της διαδραστικής διεπαφής χρήστη με πολλές επιλογές.

Επίσης, διαβάστε Εκτελέστε ένα LLM τοπικά με το LM Studio για να μάθετε περισσότερα για το LM Studio και τα βασικά χαρακτηριστικά του.

Ολάμα είναι ένα εργαλείο διεπαφής γραμμής εντολών (CLI) που επιτρέπει τη γρήγορη λειτουργία για μοντέλα μεγάλων γλωσσών όπως τα Llama 2, Mistral και Gemma. Εάν είστε χάκερ ή προγραμματιστής, αυτό το εργαλείο CLI είναι μια φανταστική επιλογή. Μπορείτε να κατεβάσετε και να εγκαταστήσετε το λογισμικό και να χρησιμοποιήσετε την εντολή «llama run llama2» για να ξεκινήσετε να χρησιμοποιείτε το μοντέλο LLaMA 2. Μπορείτε να βρείτε άλλες εντολές μοντέλου στο αποθετήριο GitHub. 

Σας επιτρέπει επίσης να ξεκινήσετε έναν τοπικό διακομιστή HTTP που μπορεί να ενσωματωθεί με άλλες εφαρμογές. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε την επέκταση Code GPT VSCode παρέχοντας τη διεύθυνση του τοπικού διακομιστή και να αρχίσετε να τη χρησιμοποιείτε ως βοηθό κωδικοποίησης AI.

Βελτιώστε τη ροή εργασιών κωδικοποίησης και δεδομένων με αυτά Κορυφαίοι 5 βοηθοί κωδικοποίησης AI. 

LLaMA.cpp είναι ένα εργαλείο που προσφέρει τόσο ένα CLI όσο και μια γραφική διεπαφή χρήστη (GUI). Σας επιτρέπει να χρησιμοποιείτε οποιαδήποτε LLM ανοιχτού κώδικα τοπικά χωρίς καμία ταλαιπωρία. Αυτό το εργαλείο είναι εξαιρετικά προσαρμόσιμο και παρέχει γρήγορες απαντήσεις σε οποιοδήποτε ερώτημα, καθώς είναι εξ ολοκλήρου γραμμένο σε καθαρή C/C++. 

Το LLaMA.cpp υποστηρίζει όλους τους τύπους λειτουργικών συστημάτων, CPU και GPU. Μπορείτε επίσης να χρησιμοποιήσετε πολυτροπικά μοντέλα όπως LLaVA, BakLLaVA, Obsidian και ShareGPT4V.

Μάθετε πώς μπορείτε να Εκτελέστε δωρεάν το Mixtral 8x7b στο Google Colab χρησιμοποιώντας LLaMA.cpp και GPU της Google.

Χρησιμοποιώ NVIDIA Συνομιλία με RTX, πρέπει να κατεβάσετε και να εγκαταστήσετε την εφαρμογή Windows 11 στον φορητό υπολογιστή σας. Αυτή η εφαρμογή είναι συμβατή με φορητούς υπολογιστές που διαθέτουν κάρτα γραφικών RTX NVIDIA σειράς 30 ή 40 με τουλάχιστον 8 GB μνήμης RAM και 50 GB ελεύθερου αποθηκευτικού χώρου. Επιπλέον, ο φορητός υπολογιστής σας θα πρέπει να έχει τουλάχιστον 16 GB μνήμης RAM για να εκτελεί ομαλά το Chat με RTX.

Με το Chat with RTX, μπορείτε να εκτελείτε μοντέλα LLaMA και Mistral τοπικά στον φορητό υπολογιστή σας. Είναι μια γρήγορη και αποτελεσματική εφαρμογή που μπορεί να μάθει ακόμα και από έγγραφα που παρέχετε ή βίντεο YouTube. Ωστόσο, είναι σημαντικό να σημειωθεί ότι το Chat with RTX βασίζεται στο TensorRTX-LLM, το οποίο υποστηρίζεται μόνο σε GPU 30 σειρών ή νεότερες.

Εάν θέλετε να επωφεληθείτε από τα πιο πρόσφατα LLM διατηρώντας τα δεδομένα σας ασφαλή και ιδιωτικά, μπορείτε να χρησιμοποιήσετε εργαλεία όπως GPT4All, LM Studio, Ollama, LLaMA.cpp ή NVIDIA Chat με RTX. Κάθε εργαλείο έχει τα δικά του μοναδικά πλεονεκτήματα, είτε πρόκειται για εύχρηστη διεπαφή, προσβασιμότητα στη γραμμή εντολών ή υποστήριξη για πολυτροπικά μοντέλα. Με τη σωστή ρύθμιση, μπορείτε να έχετε έναν ισχυρό βοηθό τεχνητής νοημοσύνης που δημιουργεί προσαρμοσμένες απαντήσεις με επίγνωση του περιβάλλοντος.

Προτείνω να ξεκινήσετε με το GPT4All και το LM Studio καθώς καλύπτουν τις περισσότερες βασικές ανάγκες. Μετά από αυτό, μπορείτε να δοκιμάσετε το Olama και το LLaMA.cpp και, τέλος, να δοκιμάσετε το Chat with RTX.
 
 

Αμπίντ Αλί Αουάν (@1abidaliawan) είναι πιστοποιημένος επαγγελματίας επιστήμονας δεδομένων που λατρεύει την κατασκευή μοντέλων μηχανικής μάθησης. Επί του παρόντος, εστιάζει στη δημιουργία περιεχομένου και στη σύνταξη τεχνικών ιστολογίων για τη μηχανική μάθηση και τις τεχνολογίες επιστήμης δεδομένων. Ο Abid είναι κάτοχος μεταπτυχιακού τίτλου στη Διοίκηση Τεχνολογίας και πτυχίου στη Μηχανική Τηλεπικοινωνιών. Το όραμά του είναι να δημιουργήσει ένα προϊόν τεχνητής νοημοσύνης χρησιμοποιώντας ένα νευρωνικό δίκτυο γραφημάτων για μαθητές που παλεύουν με ψυχικές ασθένειες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop