著者による画像
ChatGPT オンラインでのアクセスは非常に簡単です。必要なのは、インターネット接続と適切なブラウザーだけです。ただし、そうすることでプライバシーとデータが危険にさらされる可能性があります。 OpenAI は、モデルを再トレーニングするためにプロンプト応答とその他のメタデータを保存します。これを気にしない人もいるかもしれませんが、プライバシーを重視する人は、外部追跡なしでこれらのモデルをローカルで使用することを好む場合があります。
この投稿では、大規模言語モデル (LLM) をローカルで使用する 5 つの方法について説明します。ほとんどのソフトウェアはすべての主要なオペレーティング システムと互換性があり、簡単にダウンロードしてインストールしてすぐに使用できます。ラップトップで LLM を使用すると、独自のモデルを自由に選択できます。 HuggingFace ハブからモデルをダウンロードして使用を開始するだけです。さらに、これらのアプリケーションにプロジェクト フォルダーへのアクセスを許可し、コンテキストを認識した応答を生成することができます。
GPT4すべて は、ユーザーが最先端のオープンソース モデルを簡単にダウンロードしてインストールできるようにする最先端のオープンソース ソフトウェアです。
Web サイトから GPT4ALL をダウンロードし、システムにインストールするだけです。次に、パネルからニーズに合ったモデルを選択し、使用を開始します。 CUDA (Nvidia GPU) がインストールされている場合、GPT4ALL は GPU を使用して自動的に開始し、30 秒あたり最大 XNUMX トークンの迅速な応答を生成します。
重要なドキュメントやコードを含む複数のフォルダーへのアクセスを提供でき、GPT4ALL は取得拡張生成を使用して応答を生成します。 GPT4ALL はユーザーフレンドリーで高速であり、AI コミュニティの間で人気があります。
機能と使用例の詳細については、GPT4ALL に関するブログをお読みください。 究極のオープンソースの大規模言語モデル エコシステム.
LMスタジオ は、GPT4ALL に比べていくつかの利点を備えた新しいソフトウェアです。ユーザーインターフェイスは優れており、数回クリックするだけでHugging Face Hubからどのモデルでもインストールできます。さらに、GPU オフロードや、GPT4ALL では利用できないその他のオプションも提供します。ただし、LM Studio はクローズド ソースであり、プロジェクト ファイルを読み取ってコンテキストを認識した応答を生成するオプションがありません。
LM Studio は、何千ものオープンソース LLM へのアクセスを提供し、OpenAI の API のように動作するローカル推論サーバーを起動できるようにします。 LLM の応答は、複数のオプションを備えた対話型ユーザー インターフェイスを通じて変更できます。
また、読む LM Studio を使用して LLM をローカルで実行する LM Studio とその主な機能の詳細をご覧ください。
オラマ は、Llama 2、Mistral、Gemma などの大規模な言語モデルの高速な操作を可能にするコマンド ライン インターフェイス (CLI) ツールです。あなたがハッカーまたは開発者であれば、この CLI ツールは素晴らしいオプションです。ソフトウェアをダウンロードしてインストールし、「llama run llama2」コマンドを使用して LLaMA 2 モデルの使用を開始できます。他のモデル コマンドは GitHub リポジトリで見つけることができます。
また、他のアプリケーションと統合できるローカル HTTP サーバーを起動することもできます。たとえば、ローカル サーバー アドレスを指定して Code GPT VSCode 拡張機能を使用し、AI コーディング アシスタントとして使用を開始できます。
これらを使用してコーディングとデータのワークフローを改善します AI コーディング アシスタント トップ 5.
LLaMA.cpp は、CLI とグラフィカル ユーザー インターフェイス (GUI) の両方を提供するツールです。これにより、オープンソース LLM を手間をかけずにローカルで使用できるようになります。このツールは完全に純粋な C/C++ で記述されているため、高度にカスタマイズ可能であり、あらゆるクエリに高速に応答します。
LLaMA.cpp は、あらゆる種類のオペレーティング システム、CPU、GPU をサポートします。 LLaVA、BakLLaVA、Obsidian、ShareGPT4V などのマルチモーダル モデルを使用することもできます。
〜する方法を学ぶ Google Colab で Mixtral 8x7b を無料で実行する LLaMA.cpp と Google GPU を使用します。
使用するには RTX との NVIDIA チャット、ラップトップに Windows 11 アプリケーションをダウンロードしてインストールする必要があります。このアプリケーションは、少なくとも 30GB の RAM と 40GB の空きストレージ容量を備えた 8 シリーズまたは 50 シリーズ RTX NVIDIA グラフィックス カードを搭載したラップトップと互換性があります。さらに、RTX でチャットをスムーズに実行するには、ラップトップに少なくとも 16 GB の RAM が必要です。
Chat with RTX を使用すると、LLaMA モデルと Mistral モデルをラップトップ上でローカルに実行できます。これは、提供された文書や YouTube ビデオから学習することもできる、高速かつ効率的なアプリケーションです。ただし、Chat with RTX は TensorRTX-LLM に依存しており、これは 30 シリーズ GPU 以降でのみサポートされていることに注意することが重要です。
データを安全かつプライベートに保ちながら最新の LLM を活用したい場合は、GPT4All、LM Studio、Ollama、LLaMA.cpp、NVIDIA Chat with RTX などのツールを使用できます。使いやすいインターフェイス、コマンドラインへのアクセス、マルチモーダル モデルのサポートなど、各ツールには独自の強みがあります。適切な設定を行うと、カスタマイズされたコンテキスト認識型の応答を生成する強力な AI アシスタントを使用できます。
基本的なニーズのほとんどをカバーしているため、GPT4All と LM Studio から始めることをお勧めします。その後、Ollama と LLaMA.cpp を試し、最後に RTX で Chat を試してください。
アビッド・アリ・アワン (@ 1abidaliawan）は、機械学習モデルの構築を愛する認定データサイエンティストの専門家です。 現在、彼はコンテンツの作成と、機械学習とデータサイエンステクノロジーに関する技術ブログの執筆に注力しています。 Abidは、技術管理の修士号と電気通信工学の学士号を取得しています。 彼のビジョンは、精神疾患に苦しんでいる学生のためにグラフニューラルネットワークを使用してAI製品を構築することです。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop
