Eller Devasa makine öğrenimi eğitim kümeleri ve AI PC'ler hakkındaki tüm konuşmalara rağmen, evde metin ve kod üreten büyük dil modelleriyle (LLM'ler) oynamak için bir tür özel donanıma ihtiyacınız olduğunu düşünmeniz affedilir.
Gerçekte, bunu okuduğunuz masaüstü sisteminin iyi bir şansı var fazlasıyla yetenekli Mistral gibi sohbet botları veya Codellama gibi kaynak kodu oluşturucuları da dahil olmak üzere çok çeşitli Yüksek Lisans'ları çalıştırma.
Aslında Ollama, LM Suite ve Llama.cpp gibi herkese açık araçlarla bu modellerin sisteminizde çalışmasını sağlamak nispeten kolaydır.
Basitlik ve platformlar arası uyumluluk adına şu konulara bakacağız: Ollama, yüklendikten sonra Windows, Linux ve Mac'lerde hemen hemen aynı şekilde çalışır.
Performans, uyumluluk ve AMD GPU desteği hakkında birkaç kelime:
Genel olarak Mistral veya Llama 2 gibi büyük dil modelleri, özel hızlandırıcılarla en iyi şekilde çalışır. Veri merkezi operatörlerinin GPU'ları 10,000 veya daha fazla küme halinde satın alıp dağıtmasının bir nedeni var, ancak bu tür kaynakların çok küçük bir kısmına ihtiyacınız olacak.
Ollama, Nvidia ve Apple'ın M serisi GPU'ları için yerel destek sunuyor. En az 4 GB belleğe sahip Nvidia GPU'lar çalışmalıdır. 12 GB RTX 3060 ile test ettik ancak M serisi Mac'ler için en az 16 GB bellek öneriyoruz.
Linux kullanıcıları öncelikle Nvidia'nın en son özel sürücüsünün ve muhtemelen CUDA ikili dosyalarının kurulmasını isteyeceklerdir. Bunu ayarlamayla ilgili daha fazla bilgi var okuyun.
Radeon 7000 serisi veya daha yeni bir GPU kullanıyorsanız AMD'nin, sisteminizde LLM çalıştırma konusunda tam bir kılavuzu vardır; bunu burada bulabilirsiniz. okuyun.
İyi haber şu ki, desteklenen bir grafik kartınız yoksa Ollama yine de AVX2 uyumlu bir CPU üzerinde çalışacak, ancak desteklenen bir GPU'nuz olduğundan çok daha yavaş. Her ne kadar 16 GB bellek tavsiye edilse de, sayısallaştırılmış bir modeli tercih ederek daha az bellekle idare edebilirsiniz; bir dakika içinde daha fazlasını anlatacağız.
Ollama'nın Kurulumu
Ollama'yı yüklemek, temel işletim sisteminiz ne olursa olsun oldukça basittir. Kontrol edebileceğiniz açık kaynaktır okuyun.
Windows veya Mac OS çalıştıranlar için şu adrese gidin: ollama.com ve diğer uygulamalar gibi indirip yükleyin.
Linux çalıştıranlar için bu daha da basit: Sadece bu tek satırı çalıştırın; manuel kurulum talimatlarını bulabilirsiniz okuyun, eğer onları istiyorsanız - ve yarışlara gidiyorsunuz.
curl -fsSL https://ollama.com/install.sh | ş
İlk modelinizin kurulumu
İşletim sisteminiz ne olursa olsun Ollama ile çalışmak büyük ölçüde aynıdır. Ollama şununla başlamanızı önerir: Lama 2 7B, yedi milyar parametreli transformatör tabanlı bir sinir ağı, ancak bu kılavuz için aşağıdakilere göz atacağız: Mistral 7B oldukça yetenekli olduğundan ve bazılarının kaynağı olduğundan tartışma geçtiğimiz haftalarda.
Modeli etkileşimli bir sohbet modunda indirip başlatmak için PowerShell'i veya bir terminal öykünücüsünü açıp aşağıdaki komutu yürüterek başlayın.
ollama mistral koşuyor
İndirdikten sonra tıpkı ChatGPT, Copilot veya Google Gemini gibi modelle etkileşime başlayabileceğiniz bir sohbet istemine yönlendirileceksiniz.
Mistral 7B gibi Yüksek Lisanslar, bu 2 yaşındaki M1 Max MacBook Pro'da şaşırtıcı derecede iyi çalışıyor - Büyütmek için tıklayın
Hiçbir şey alamazsanız, önce Windows'un başlat menüsünden veya Mac'in uygulamalar klasöründen Ollama'yı başlatmanız gerekebilir.
Modeller, etiketler ve nicemleme
Mistal 7B, modelin diğer versiyonları da dahil olmak üzere Ollama kullanılarak erişilebilen birçok LLM'den yalnızca biridir. Her birinin çalıştırılmasına ilişkin talimatlarla birlikte tam listeyi bulabilirsiniz. okuyun, ancak genel sözdizimi şuna benzer:
ollama run model-adı:model-etiketi
Model etiketleri, modelin hangi sürümünü indirmek istediğinizi belirtmek için kullanılır. Bunu bırakırsanız Ollama en son sürümü istediğinizi varsayar. Deneyimlerimize göre bu, modelin 4 bitlik nicelenmiş versiyonu olma eğilimindedir.
Örneğin, Meta'nın Llama2 7B'sini FP16'da çalıştırmak istiyorsanız, şöyle görünecektir:
ollama run lama2:7b-chat-fp16
Ancak bunu denemeden önce sisteminizde yeterli bellek olup olmadığını bir kez daha kontrol etmek isteyebilirsiniz. Mistral ile olan önceki örneğimizde 4 bitlik niceleme kullanıldı; bu, modelin her 1 milyar parametre için yarım gigabayt belleğe ihtiyaç duyduğu anlamına geliyor. Ve unutmayın: Yedi milyar parametresi var.
Niceleme, ağırlıklarını ve aktivasyonlarını daha düşük bir duyarlılığa dönüştürerek modeli sıkıştırmak için kullanılan bir tekniktir. Bu, kilometreniz farklılık gösterse de Mistral 7B'nin 4 GB GPU veya sistem RAM'i dahilinde, genellikle çıktı kalitesinden minimum düzeyde ödün vererek çalışmasına olanak tanır.
Yukarıda kullanılan Llama 2 7B örneği yarı hassasiyette çalışır (FP16). Sonuç olarak, aslında milyar parametre başına 2 GB belleğe ihtiyacınız olacaktır; bu durumda bu, 14 GB'ın biraz üzerine çıkar. 16 GB veya daha fazla vRAM'e sahip daha yeni bir GPU'nuz olmadığı sürece modeli bu hassasiyette çalıştırmak için yeterli kaynağınız olmayabilir.
Ollama'yı Yönetmek
Ollama'yı kullanarak kurulu modelleri yönetmek, güncellemek ve kaldırmak, daha önce Docker CLI gibi şeyleri kullanmış olan herkes için kendini evindeymiş gibi hissetmelidir.
Bu bölümde, yürütmek isteyebileceğiniz daha yaygın görevlerden birkaçının üzerinden geçeceğiz.
Kurulu modellerin bir listesini almak için şunu çalıştırın:
ollama listesi
Bir modeli kaldırmak için şunu çalıştırırsınız:
ollama rm model-adı:model-etiketi
Mevcut bir modeli çekmek veya güncellemek için şunu çalıştırın:
ollama pull model-adı:model-etiketi
Ek Ollama komutları çalıştırılarak bulunabilir:
ollama --yardım
Daha önce de belirttiğimiz gibi Ollama, yerel LLM'leri çalıştırmak ve test etmek için kullanılan birçok çerçeveden yalnızca biridir. Eğer bu konuda başınız belaya girerse, başkalarında daha fazla şans bulabilirsiniz. Ve hayır, bunu bir yapay zeka yazmadı.
Kayıt Yakın gelecekte Yüksek Lisans'ların kullanımı konusunda size daha fazla bilgi sunmayı amaçlıyor, bu nedenle AI PC ile ilgili sorularınızı yorumlar bölümünde paylaştığınızdan emin olun. Ve unutma tedarik zinciri güvenliği🇧🇷 🇧🇷
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/
