LLMs (Large Language Models) für die lokale Verwendung werden normalerweise als Satz von Gewichtungen in einer Multi-Gigabyte-Datei verteilt. Diese können nicht direkt eigenständig verwendet werden, was ihre Verbreitung und Ausführung im Vergleich zu anderer Software im Allgemeinen erschwert. Ein bestimmtes Modell kann auch Änderungen und Optimierungen unterzogen worden sein, was zu unterschiedlichen Ergebnissen führt, wenn verschiedene Versionen verwendet werden.
Um dabei zu helfen, hat Mozillas Innovationsgruppe veröffentlicht Lamadatei, eine Open-Source-Methode zur Umwandlung einer Reihe von Gewichtungen in eine einzige Binärdatei, die auf sechs verschiedenen Betriebssystemen (macOS, Windows, Linux, FreeBSD, OpenBSD und NetBSD) läuft, ohne dass eine Installation erforderlich ist. Dies erleichtert die Verteilung und Ausführung von LLMs erheblich und stellt außerdem sicher, dass eine bestimmte Version von LLM für immer konsistent und reproduzierbar bleibt.
Dies wäre ohne die Arbeit von [Justine Tunney], der Schöpferin von, nicht möglich Cosmopolitan, ein Build-Once-Run-Anywhere-Framework. Der andere Hauptteil ist lama.cpp, und wir haben alles abgedeckt warum es so eine große Sache ist wenn es um den Betrieb selbstgehosteter LLMs geht.
Es gibt einige Beispiel-Binärdateien Verfügbar mit den LLMs Mistral-7B, WizardCoder-Python-13B und LLaVA 1.5. Denken Sie daran, dass auf einer Windows-Plattform nur LLaVA 1.5 ausgeführt werden kann, da es die einzige Version ist, die unter der 4-GB-Grenze für ausführbare Dateien von Windows liegt. Wenn Sie auf Probleme stoßen, schauen Sie vorbei die Fallstrickliste für Tipps zur Fehlerbehebung.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://hackaday.com/2023/12/02/mozilla-lets-folks-turn-ai-llms-into-single-file-executables/
