ローカルで使用する LLM (Large Language Model) は、通常、複数ギガバイトのファイル内の重みのセットとして配布されます。 これらは単独で直接使用することができないため、一般に他のソフトウェアに比べて配布や実行が難しくなります。 特定のモデルに変更や微調整が加えられている可能性もあり、異なるバージョンが使用されると異なる結果が生じます。
これを支援するために、Mozilla のイノベーション グループは次のリリースをリリースしました。 ラマファイルは、一連の重みを、インストールすることなく XNUMX つの異なる OS (macOS、Windows、Linux、FreeBSD、OpenBSD、および NetBSD) 上で実行できる単一のバイナリに変換するオープンソースの方法です。 これにより、LLM の配布と実行が劇的に簡単になるだけでなく、LLM の特定のバージョンが永久に一貫性と再現性を維持できるようになります。
これは、 コスモポリタン、一度構築すればどこでも実行できるフレームワーク。 もう一つの主要な部分は、 ラマ.cpp、そして私たちはカバーしました なぜそれがそんなに大きなことなのか セルフホスト型 LLM の実行に関しては。
全 いくつかのサンプルバイナリ Mistral-7B、WizardCoder-Python-13B、および LLaVA 1.5 LLM を使用して利用できます。 Windows プラットフォームを使用している場合、LLaVA 1.5 のみが実行されることに注意してください。これは、Windows の実行可能ファイルの 4 GB 制限を下回る唯一のプラットフォームであるためです。 問題が発生した場合は、チェックしてください 注意事項リスト トラブルシューティングのヒントについては。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://hackaday.com/2023/12/02/mozilla-lets-folks-turn-ai-llms-into-single-file-executables/
