Bugün, Mistral AI tarafından geliştirilen Mistral 7B temel modellerinin müşterilerimizin kullanımına sunulduğunu duyurmanın heyecanını yaşıyoruz. Amazon SageMaker Hızlı Başlangıç çıkarımı çalıştırmak için tek tıklamayla dağıtmak. 7 milyar parametreyle Mistral 7B kolaylıkla özelleştirilebilir ve hızlı bir şekilde devreye alınabilir. Bu modeli, ML'ye hızla başlayabilmeniz için algoritmalara ve modellere erişim sağlayan bir makine öğrenimi (ML) merkezi olan SageMaker JumpStart ile deneyebilirsiniz. Bu yazıda Mistral 7B modelinin nasıl keşfedilip konuşlandırılacağını açıklıyoruz.
Mistral 7B Nedir?
Mistral 7B, Mistral AI tarafından geliştirilen, İngilizce metin ve kod oluşturma yeteneklerini destekleyen bir temel modeldir. Metin özetleme, sınıflandırma, metin tamamlama ve kod tamamlama gibi çeşitli kullanım durumlarını destekler. Mistral AI, modelin kolay özelleştirilebilirliğini göstermek amacıyla, sohbet kullanım durumları için, halka açık çeşitli konuşma veri kümeleri kullanılarak ince ayar yapılan bir Mistral 7B Instruct modeli de yayınladı.
Mistral 7B bir dönüştürücü modelidir ve daha hızlı çıkarım (düşük gecikme) elde etmek ve daha uzun dizileri işlemek için gruplandırılmış sorgu dikkatini ve kayan pencere dikkatini kullanır. Grup sorgu dikkati, çoklu sorgu dikkatine yakın çıktı kalitesi ve çoklu sorgu dikkatiyle karşılaştırılabilir hız elde etmek için çoklu sorgu ve çok kafalı dikkati birleştiren bir mimaridir. Kayar pencere dikkati, bağlam uzunluğunu artırmak için pencere boyutunun ötesinde geçmişe katılmak için bir transformatörün yığılmış katmanlarını kullanır. Mistral 7B, 8,000 jetonluk bağlam uzunluğuna sahiptir, düşük gecikme süresi ve yüksek verim gösterir ve daha büyük model alternatifleriyle karşılaştırıldığında güçlü bir performansa sahiptir ve 7B model boyutunda düşük bellek gereksinimleri sağlar. Model izin kapsamında kullanıma sunuldu Apache 2.0 lisansı, kısıtlama olmaksızın kullanım için.
SageMaker JumpStart nedir?
SageMaker JumpStart ile makine öğrenimi uygulayıcıları, en iyi performans gösteren temel modellerin giderek büyüyen listesinden seçim yapabilir. ML uygulayıcıları temel modelleri özel olarak dağıtabilir Amazon Adaçayı Yapıcı ağdan izole edilmiş bir ortamda örnekler oluşturun ve model eğitimi ve dağıtımı için SageMaker'ı kullanarak modelleri özelleştirin.
Artık Mistral 7B'yi birkaç tıklamayla keşfedebilir ve konuşlandırabilirsiniz. Amazon SageMaker Stüdyosu veya SageMaker Python SDK aracılığıyla programlı olarak, SageMaker özellikleriyle model performansı ve MLOps kontrolleri türetmenizi sağlar. Amazon SageMaker Ardışık Düzenleri, Amazon SageMaker Hata Ayıklayıcısıveya konteyner günlükleri. Model, AWS güvenli ortamında ve VPC kontrolleriniz altında dağıtılarak veri güvenliğinin sağlanmasına yardımcı olur.
Modelleri keşfedin
Mistral 7B temel modellerine, SageMaker Studio kullanıcı arayüzündeki ve SageMaker Python SDK'sındaki SageMaker JumpStart aracılığıyla erişebilirsiniz. Bu bölümde SageMaker Studio'daki modelleri nasıl keşfedeceğimizi ele alıyoruz.
SageMaker Studio, verileri hazırlamaktan makine öğrenimi modellerinizi oluşturmaya, eğitmeye ve dağıtmaya kadar tüm makine öğrenimi geliştirme adımlarını gerçekleştirmek için amaca yönelik oluşturulmuş araçlara erişebileceğiniz tek bir web tabanlı görsel arabirim sağlayan entegre bir geliştirme ortamıdır (IDE). Nasıl başlayacağınız ve SageMaker Studio'yu nasıl kuracağınız hakkında daha fazla bilgi için bkz. Amazon SageMaker Stüdyosu.
SageMaker Studio'da, önceden eğitilmiş modeller, dizüstü bilgisayarlar ve önceden oluşturulmuş çözümler içeren SageMaker JumpStart'a şu adresten erişebilirsiniz: Önceden oluşturulmuş ve otomatikleştirilmiş çözümler.
SageMaker JumpStart açılış sayfasından çözümlere, modellere, not defterlerine ve diğer kaynaklara göz atabilirsiniz. Mistral 7B'yi şurada bulabilirsiniz: Temel Modelleri: Metin Üretimi atlıkarınca
Diğer model çeşitlerini de tercih ederek bulabilirsiniz. Tüm Metin Modellerini keşfedin veya "Mistral"ı aramak.
Lisans, eğitim için kullanılan veriler ve nasıl kullanılacağı gibi modelle ilgili ayrıntıları görüntülemek için model kartını seçebilirsiniz. Ayrıca iki düğme bulacaksınız, Sürüş ve Not defterini açmodeli kullanmanıza yardımcı olacaktır (aşağıdaki ekran görüntüsünde Sürüş seçenek).
Modelleri dağıtmak
Dağıtım siz seçtiğinizde başlar Sürüş. Alternatif olarak, seçtiğinizde görünen örnek not defteri aracılığıyla da dağıtım yapabilirsiniz. Not defterini aç. Örnek not defteri, modelin çıkarım için nasıl dağıtılacağı ve kaynakların nasıl temizleneceği konusunda uçtan uca rehberlik sağlar.
Dizüstü bilgisayar kullanarak dağıtım yapmak için, Mistral 7B modelini seçerek başlıyoruz. model_id
. Seçili modellerden herhangi birini SageMaker'da aşağıdaki kodla konuşlandırabilirsiniz:
Bu, modeli SageMaker'da, varsayılan örnek türü (ml.g5.2xlarge) ve varsayılan VPC yapılandırmaları dahil olmak üzere varsayılan yapılandırmalarla dağıtır. Varsayılan olmayan değerleri belirterek bu yapılandırmaları değiştirebilirsiniz. HızlıBaşlangıçModeli. Dağıtıldıktan sonra, SageMaker öngörücü aracılığıyla dağıtılan uç noktaya karşı çıkarım çalıştırabilirsiniz:
Dağıtım yapılandırmasını optimize etme
Mistral modelleri, Metin Üretme Çıkarımı (TGI sürüm 1.1) model hizmetini kullanır. Modelleri TGI derin öğrenme kapsayıcısı (DLC) ile dağıtırken, çeşitli yapılandırmaları yapılandırabilirsiniz. başlatıcı argümanları Uç noktanızı dağıtırken ortam değişkenleri aracılığıyla. Mistral 8,000B modellerinin 7 jetonluk bağlam uzunluğunu desteklemek için SageMaker JumpStart bu parametrelerden bazılarını varsayılan olarak yapılandırmıştır: MAX_INPUT_LENGTH
ve MAX_TOTAL_TOKENS
sırasıyla 8191 ve 8192'ye. Model nesnenizi inceleyerek tam listeyi görüntüleyebilirsiniz:
Varsayılan olarak SageMaker JumpStart, ortam değişkeni aracılığıyla eşzamanlı kullanıcıları sıkıştırmaz MAX_CONCURRENT_REQUESTS
TGI varsayılan değeri olan 128'den daha küçüktür. Bunun nedeni, bazı kullanıcıların küçük veri yükü bağlam uzunluklarına sahip tipik iş yüklerine sahip olabilmesi ve yüksek eşzamanlılık istemesidir. SageMaker TGI DLC'nin sürekli toplu iş yoluyla birden fazla eşzamanlı kullanıcıyı desteklediğini unutmayın. Uygulamanız için uç noktanızı dağıtırken, kelepçelemeniz gerekip gerekmediğini düşünebilirsiniz. MAX_TOTAL_TOKENS
or MAX_CONCURRENT_REQUESTS
İş yükünüz için en iyi performansı sağlamak amacıyla dağıtımdan önce:
Burada, tipik uç nokta iş yükünüz için model performansının nasıl farklılık gösterebileceğini gösteriyoruz. Aşağıdaki tablolarda, küçük boyutlu sorguların (128 giriş kelimesi ve 128 çıkış jetonu) çok sayıda eşzamanlı kullanıcı altında oldukça performanslı olduğunu ve saniyede 1,000 jeton civarında jeton verimine ulaştığını gözlemleyebilirsiniz. Bununla birlikte, giriş sözcüklerinin sayısı 512 giriş sözcüğüne yükseldikçe uç nokta, toplu işleme kapasitesini (aynı anda işlenmesine izin verilen eşzamanlı isteklerin sayısı) doyurur ve bu da yaklaşık 16 eşzamanlı kullanıcıdan başlayarak bir üretim platosuna ve önemli gecikme bozulmalarına neden olur. Son olarak, büyük giriş bağlamlarına (örneğin, 6,400 kelime) sahip uç nokta birden fazla eş zamanlı kullanıcı tarafından eş zamanlı olarak sorgulandığında, bu verim platosu nispeten hızlı bir şekilde ortaya çıkar ve SageMaker hesabınızın, aşırı yüklenmiş istekleriniz için 60 saniyelik yanıt zaman aşımı sınırlarıyla karşılaşmaya başlayacağı noktaya gelir. .
. | verim (jeton/s) | ||||||||||
eşzamanlı kullanıcılar | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
model | örnek türü | kelimeleri girin | çıktı belirteçleri | . | |||||||
mistral-7b-talimat | ml.g5.2xlarge | 128 | 128 | 30 | 54 | 89 | 166 | 287 | 499 | 793 | 1030 |
512 | 128 | 29 | 50 | 80 | 140 | 210 | 315 | 383 | 458 | ||
6400 | 128 | 17 | 25 | 30 | 35 | - | - | - | - |
. | p50 gecikmesi (ms/jeton) | ||||||||||
eşzamanlı kullanıcılar | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
model | örnek türü | kelimeleri girin | çıktı belirteçleri | . | |||||||
mistral-7b-talimat | ml.g5.2xlarge | 128 | 128 | 32 | 33 | 34 | 36 | 41 | 46 | 59 | 88 |
512 | 128 | 34 | 36 | 39 | 43 | 54 | 71 | 112 | 213 | ||
6400 | 128 | 57 | 71 | 98 | 154 | - | - | - | - |
Çıkarım ve örnek istemler
Mistral 7B
Herhangi bir standart metin oluşturma modeli gibi temel bir Mistral 7B modeliyle etkileşime girebilirsiniz; burada model bir giriş dizisini işler ve dizideki tahmin edilen sonraki kelimeleri çıkarır. Aşağıda, modelin çeşitli örneklerle sağlandığı ve son örnek yanıtının bu önceki örneklerin bağlamsal bilgisiyle oluşturulduğu, çok adımlı öğrenmeye ilişkin basit bir örnek verilmiştir:
Mistral 7B talimatı
Mistral'in talimat ayarlı sürümü, konuşma rollerinin bir kullanıcı istemiyle başlaması ve kullanıcı ile asistan arasında geçiş yapması gereken biçimlendirilmiş talimatları kabul eder. Basit bir kullanıcı istemi aşağıdaki gibi görünebilir:
Çok dönüşlü bir istem aşağıdaki gibi görünecektir:
Bu kalıp, konuşmada ne kadar çok dönüş olursa olsun tekrarlanır.
Aşağıdaki bölümlerde Mistral 7B Instruct modelini kullanan bazı örnekleri inceliyoruz.
Bilgiye erişim
Aşağıda bilgi erişimine bir örnek verilmiştir:
Geniş bağlamlı soru yanıtlama
Büyük girdi bağlamı uzunluklarını desteklemek için bu modelin nasıl kullanılacağını göstermek amacıyla aşağıdaki örnekte Robert Sullivan'ın "Rats" başlıklı bir pasajı yer almaktadır (referans), MCAS 10. Sınıf İngiliz Dili Sanatları Okuduğunu Anlama testinden giriş istemi talimatına girer ve modele metin hakkında yönlendirilmiş bir soru sorar:
Matematik ve akıl yürütme
Mistral modelleri aynı zamanda matematik doğruluğundaki güçlü yönleri de rapor etmektedir. Mistral aşağıdaki matematik mantığına benzer bir anlayış sağlayabilir:
kodlama
Aşağıda bir kodlama istemi örneği verilmiştir:
Temizlemek
Not defterini çalıştırmayı tamamladıktan sonra, faturalandırmanın durdurulması için süreçte oluşturduğunuz tüm kaynakları sildiğinizden emin olun. Aşağıdaki kodu kullanın:
Sonuç
Bu yazıda size SageMaker Studio'da Mistral 7B'yi kullanmaya nasıl başlayacağınızı ve modeli çıkarım için nasıl dağıtacağınızı gösterdik. Temel modeller önceden eğitildiğinden, eğitim ve altyapı maliyetlerinin azaltılmasına yardımcı olabilir ve kullanım durumunuza göre özelleştirmeye olanak sağlayabilir. Ziyaret etmek Amazon SageMaker Hızlı Başlangıç şimdi başlamak için.
Kaynaklar
Yazarlar Hakkında
Doktor Kyle Ulrich Amazon SageMaker JumpStart ekibinde bir Uygulamalı Bilim Adamıdır. Araştırma ilgi alanları arasında ölçeklenebilir makine öğrenimi algoritmaları, bilgisayar görüşü, zaman serileri, Bayes parametrik olmayanları ve Gauss süreçleri yer alır. Doktorası Duke Üniversitesi'ndendir ve NeurIPS, Cell ve Neuron'da yayınlanmış makaleleri vardır.
Ashish Khetan Amazon SageMaker JumpStart'ta Kıdemli Uygulamalı Bilim Adamıdır ve makine öğrenimi algoritmalarının geliştirilmesine yardımcı olur. Doktora derecesini University of Illinois Urbana-Champaign'den almıştır. Makine öğrenimi ve istatistiksel çıkarım alanlarında aktif bir araştırmacıdır ve NeurIPS, ICML, ICLR, JMLR, ACL ve EMNLP konferanslarında birçok makale yayınlamıştır.
Vivek Singh Amazon SageMaker JumpStart'ta ürün yöneticisidir. Müşterilerin, üretken yapay zeka uygulamaları oluşturmaya yönelik makine öğrenimi yolculuklarını basitleştirmek ve hızlandırmak için SageMaker JumpStart'ı kullanmalarına olanak sağlamaya odaklanıyor.
Roy Allela Münih, Almanya merkezli AWS'de Kıdemli Yapay Zeka/ML Uzmanı Çözüm Mimarıdır. Roy, küçük startup'lardan büyük işletmelere kadar AWS müşterilerinin büyük dil modellerini AWS üzerinde verimli bir şekilde eğitmesine ve devreye almasına yardımcı olur. Roy, hesaplamalı optimizasyon sorunları ve yapay zeka iş yüklerinin performansını iyileştirme konusunda tutkulu.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/