Google, güçlü ancak hafif olan ve dizüstü bilgisayar veya bulut altyapısı gibi sınırlı kaynaklara sahip ortamlarda kullanılmak üzere optimize edilmiş Gemini'yi oluşturmak için kullanılan teknolojiyi temel alan açık kaynaklı, geniş bir dil modeli yayınladı.

Gemma, bir sohbet robotu, içerik oluşturma aracı ve bir dil modelinin yapabileceği hemen hemen her şeyi oluşturmak için kullanılabilir. Bu, SEO uzmanlarının beklediği araçtır.

Biri iki milyar parametreli (2B) ve diğeri yedi milyar parametreli (7B) olmak üzere iki versiyonda yayınlandı. Parametrelerin sayısı modelin karmaşıklığını ve potansiyel yeteneğini gösterir. Daha fazla parametreye sahip modeller, dilin daha iyi anlaşılmasını sağlayabilir ve daha karmaşık yanıtlar üretebilir, ancak aynı zamanda eğitilmeleri ve çalıştırılmaları için daha fazla kaynağa ihtiyaç duyarlar.

Gemma'yı piyasaya sürmenin amacı, güvenlik açısından daha da optimize edecek bir araç seti ile birlikte, kutudan çıktığı haliyle güvenli ve sorumlu olacak şekilde eğitilmiş son teknoloji ürünü Yapay Zekaya erişimi demokratikleştirmektir.

DeepMind'dan Gemma

Model hafif ve verimli olacak şekilde geliştirildi, bu da onu daha fazla son kullanıcının eline geçirmek için ideal kılıyor.

Google'ın resmi duyurusunda aşağıdaki önemli noktalara dikkat çekildi:

• “Model ağırlıklarını iki boyutta piyasaya sürüyoruz: Gemma 2B ve Gemma 7B. Her boyut, önceden eğitilmiş ve talimatlara göre ayarlanmış değişkenlerle birlikte piyasaya sürülür.
• Yeni Sorumlu Üretken Yapay Zeka Araç Seti, Gemma ile daha güvenli yapay zeka uygulamaları oluşturmak için rehberlik ve temel araçlar sağlar.
• Yerel Keras 3.0 aracılığıyla JAX, PyTorch ve TensorFlow gibi tüm ana çerçevelerde çıkarım ve denetimli ince ayar (SFT) için araç zincirleri sağlıyoruz.
• Kullanıma hazır Colab ve Kaggle dizüstü bilgisayarlar, Hugging Face, MaxText, NVIDIA NeMo ve TensorRT-LLM gibi popüler araçlarla entegrasyonun yanı sıra Gemma'yı kullanmaya başlamayı kolaylaştırır.
• Önceden eğitilmiş ve talimatlara göre ayarlanmış Gemma modelleri, Vertex AI ve Google Kubernetes Engine (GKE) üzerinde kolay dağıtımla dizüstü bilgisayarınızda, iş istasyonunuzda veya Google Cloud'da çalışabilir.
• Birden fazla AI donanım platformunda optimizasyon, NVIDIA GPU'lar ve Google Cloud TPU'lar dahil olmak üzere sektör lideri performans sağlar.
• Kullanım koşulları, büyüklüğü ne olursa olsun tüm kuruluşlar için sorumlu ticari kullanıma ve dağıtıma izin verir."

Gemma'nın Analizi

Apple'da makine öğrenimi araştırma bilimcisi olan Awni Hannun tarafından yapılan bir analize göre Gemma, onu düşük kaynak ortamlarında kullanıma uygun hale getirecek şekilde yüksek verimliliğe sahip olacak şekilde optimize edildi.

Hannun, Gemma'nın karşılaştırılabilir modeller için 250,000 bin token'a karşılık 250 (32 bin) token kelime dağarcığına sahip olduğunu gözlemledi. Bunun önemi, Gemma'nın daha geniş bir kelime yelpazesini tanıyabilmesi ve işleyebilmesi, böylece karmaşık dil içeren görevlerin üstesinden gelebilmesidir. Analizi, bu kapsamlı kelime dağarcığının, modelin farklı içerik türlerindeki çok yönlülüğünü artırdığını öne sürüyor. Ayrıca matematik, kod ve diğer yöntemlerde de yardımcı olabileceğine inanıyor.

Ayrıca “gömme ağırlıklarının” çok büyük (750 milyon) olduğu da belirtildi. Gömme ağırlıkları, kelimelerin anlam ve ilişkilerinin temsilleriyle eşleştirilmesine yardımcı olan parametrelere bir referanstır.

Bahsettiği önemli bir özellik, kelime anlamları ve ilişkileri hakkında ayrıntılı bilgileri kodlayan yerleştirme ağırlıklarının sadece girdi kısmının işlenmesinde değil aynı zamanda modelin çıktısının oluşturulmasında da kullanılmasıdır. Bu paylaşım, modelin metin üretirken dil anlayışından daha iyi yararlanmasını sağlayarak modelin verimliliğini artırır.

Son kullanıcılar için bu, modelden daha doğru, alakalı ve bağlamsal olarak uygun yanıtlar (içerik) anlamına gelir; bu da, sohbet robotları ve çevirilerin yanı sıra içerik oluşturmada da kullanımını geliştirir.

He tweeted:

“Diğer açık kaynaklı modellerle karşılaştırıldığında sözcük dağarcığı çok büyük: Mistral 250B için 32K vs 7k

Belki yoğun sembol kuyruğuyla matematik/kod/diğer yöntemlerde çok yardımcı olabilir.

Ayrıca yerleştirme ağırlıkları da büyük (~750M parametre), dolayısıyla çıktı kafasıyla paylaşılıyor.”

Takip eden bir tweet'te ayrıca, modelin eğitim aşamasında daha etkili bir şekilde öğrenmesine ve uyum sağlamasına olanak tanıdığından, potansiyel olarak daha doğru ve gelişmiş model yanıtlarına dönüşen eğitimde bir optimizasyona da dikkat çekti.

He tweeted:

“RMS norm ağırlığının bir birim ofseti var.

“x * ağırlık” yerine “x * (1 + ağırlık)” yaparlar.

Bunun bir eğitim optimizasyonu olduğunu varsayıyorum. Ağırlık genellikle 1 olarak başlatılır ancak muhtemelen 0'a yakın olarak başlatılır. Diğer tüm parametrelere benzer."

Verilerde ve eğitimde daha fazla optimizasyon olduğunu ancak bu iki faktörün özellikle öne çıktığını belirtti.

Güvenli ve Sorumlu Olacak Şekilde Tasarlandı

Önemli bir temel özellik, sıfırdan güvenli olacak şekilde tasarlanmış olmasıdır, bu da onu kullanım için ideal hale getirir. Eğitim verileri, kişisel ve hassas bilgileri kaldıracak şekilde filtrelendi. Google ayrıca modeli sorumlu davranışa yönelik eğitmek için insan geri bildirimlerinden (RLHF) pekiştirmeli öğrenmeyi kullandı.

Manuel yeniden ekip oluşturma, otomatik testlerle daha fazla hata ayıklandı ve istenmeyen ve tehlikeli faaliyetlere yönelik yetenekler açısından kontrol edildi.

Google ayrıca son kullanıcıların güvenliği daha da artırmasına yardımcı olacak bir araç seti de yayınladı:

“Ayrıca yeni bir tane yayınlıyoruz Sorumlu Üretken Yapay Zeka Araç Seti Geliştiricilerin ve araştırmacıların güvenli ve sorumlu yapay zeka uygulamaları oluşturmaya öncelik vermelerine yardımcı olmak için Gemma ile birlikte çalışıyoruz. Araç seti şunları içerir:

• Güvenlik sınıflandırması: Minimal örneklerle sağlam güvenlik sınıflandırıcıları oluşturmak için yeni bir metodoloji sağlıyoruz.
• Hata ayıklama: Model hata ayıklama aracı, Gemma'nın davranışını araştırmanıza ve olası sorunları çözmenize yardımcı olur.
• Rehberlik: Google'ın büyük dil modellerini geliştirme ve dağıtma konusundaki deneyimine dayanarak model oluşturuculara yönelik en iyi uygulamalara erişebilirsiniz."

Google'ın resmi duyurusunu okuyun:

Gemma: Son teknolojiye sahip yeni açık modellerle tanışın

Shutterstock/Photo'dan Öne Çıkan Görsel Her Şey İçin

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.searchenginejournal.com/google-announces-gemma-ai/508910/