Ocak 2024'te Meta CEO'su Mark Zuckerberg şunları duyurdu: Instagram videosu Meta AI'nın yakın zamanda Llama 3'ü eğitmeye başladığını söyledi. LLaMa büyük dil modelleri (LLM'ler) ailesinin bu son nesli, Şubat 1'te piyasaya sürülen Llama 2023 modellerini (başlangıçta "LLaMA" olarak stilize edilmiş) ve Temmuz'da piyasaya sürülen Llama 2 modellerini takip ediyor.

Belirli ayrıntılar (model boyutları veya çok modlu yetenekler gibi) henüz açıklanmamış olsa da Zuckerberg, Meta'nın Llama temel modellerini açık kaynak olarak sunmaya devam etme niyetini belirtti.

Llama 3 hakkında şu anda bildiklerimizi ve bunun üretken yapay zeka modellerindeki bir sonraki ilerleme dalgasını nasıl etkileyebileceğini öğrenmek için okumaya devam edin.

Lama 3 ne zaman çıkacak?

Çıkış tarihi açıklanmadı ancak şunu belirtmekte fayda var ki Llama 1 eğitimi üç ay sürdü ve Lama 2 eğitimi yaklaşık altı ay sürdü. Yeni nesil modeller de benzer bir zaman çizelgesini takip ederse Temmuz 2024 civarında piyasaya sürülecek.

Bununla birlikte, Meta'nın ince ayar yapmak ve uygun model hizalamasını sağlamak için ekstra zaman ayırma olasılığı her zaman vardır. Üretken yapay zeka modellerine erişimin artması, yalnızca işletmeler, startuplar ve amatörlerden daha fazla kurumu güçlendiriyor: Açık kaynak modelleri güçlendikçe, modellerin kötü aktörler tarafından kötü amaçlarla kullanılması riskini azaltmak için daha fazla özen gösterilmesi gerekiyor. Zuckerberg, duyuru videosunda Meta'nın "[modelleri] sorumlu ve güvenli bir şekilde eğitme" konusundaki kararlılığını yineledi.

Llama 3 açık kaynak olacak mı?

Meta, yalnızca ticari olmayan kullanım durumları için araştırma kurumlarına vaka bazında ücretsiz olarak Llama 1 modellerine erişim izni verirken, Llama 2 kodu ve model ağırlıkları, daha az sayıda kuruluş için ticari kullanıma izin veren açık bir lisansla piyasaya sürüldü. Aylık 700 milyondan fazla aktif kullanıcı. Llama 2'nin lisansının karşılanıp karşılanmadığı konusunda tartışmalar varken “açık kaynak”ın katı teknik tanımı genelde bu şekilde anılır. Mevcut hiçbir kanıt, Llama 3'ün farklı bir şekilde yayınlanacağını göstermiyor.

Zuckerberg, duyurusunda ve sonraki basınında Meta'nın lisansları açma ve yapay zekaya (AI) erişimi demokratikleştirme konusundaki kararlılığını yineledi. Zuckerberg, "Buradaki en büyük zorluklardan birinin, eğer gerçekten değerli bir şey inşa ederseniz, o şeyin çok yoğunlaşması olacağını düşünüyorum" dedi. ile bir röportajda Verge (bağlantı ibm.com dışındadır). “Oysa, eğer konuyu daha açık hale getirirseniz, bu, fırsat ve değere eşitsiz erişimden kaynaklanabilecek geniş bir yelpazedeki sorunları ele alır. Yani bu, tüm açık kaynak vizyonunun büyük bir parçası.”

Llama 3 yapay genel zekaya (AGI) ulaşabilecek mi?

Zuckerberg'in duyuru videosu Meta'nın uzun vadeli inşaat hedefini vurguladı yapay genel zeka (AGI)Modellerin insan zekasına eşit (veya ondan daha üstün) bütünsel bir zeka sergileyeceği yapay zekanın teorik gelişim aşaması.

Zuckerberg, "Yeni nesil hizmetlerin tam bir genel zeka oluşturulmasını gerektirdiği daha açık hale geldi" diyor. "En iyi yapay zeka asistanlarını, yaratıcılar için yapay zekaları, işletmeler için yapay zekaları ve daha fazlasını oluşturmak; bu, akıl yürütmeden planlamaya, kodlamaya, belleğe ve diğer bilişsel yeteneklere kadar yapay zekanın her alanında ilerlemeye ihtiyaç duyuyor."

Bu, Llama 3'ün mutlaka YGZ'ye ulaşacağı (veya hatta ulaşmaya çalışacağı) anlamına gelmiyor henüz. Ancak bu, Meta'nın LLM geliştirmelerine ve diğer yapay zeka araştırmalarına, AGI üretebileceğine inandıkları bir şekilde kasıtlı olarak yaklaştığı anlamına geliyor. sonunda.

Lama 3 multimodal olacak mı?

Ortaya çıkan yapay zeka trendi is çok modlu yapay zeka: farklı veri formatlarını anlayabilen ve çalışabilen modeller (veya modaliteleri). Metin, kod, ses, görüntü ve hatta video verilerini işlemek için ayrı modeller geliştirmek yerine, Google'ın Gemini veya OpenAI'nin GPT-4V'si gibi son teknoloji ürünü yeni modeller ve LLaVa (Büyük Dil ve Görme Asistanı) gibi açık kaynak katılımcıları ), Adept veya Qwen-VL — bilgisayarlı görme ve doğal dil işleme (NLP) görevleri arasında sorunsuz bir şekilde geçiş yapabilir.

Zuckerberg, Llama 3 gibi Llama 2'ün de kod oluşturma yetenekleri içereceğini doğrulamış olsa da diğer multimodal yeteneklere açıkça değinmedi. Ancak Llama 3 duyuru videosunda yapay zekanın Metaevren ile nasıl kesişeceğini öngördüğünü anlattı: Zuckerberg, Meta'nın açıklamasına atıfta bulunarak "Gözlükler, bir yapay zekanın sizin gördüğünüzü görmesini ve duyduğunuzu duymasını sağlamak için ideal form faktörüdür" dedi. Ray-Ban akıllı gözlük. “Yani her zaman yardıma hazırız.”

Bu, Meta'nın Llama modelleri için planlarının, ister gelecek Llama 3 sürümünde ister sonraki nesillerde olsun, LLM'lerin hâlihazırda işlediği metin ve kod verilerinin yanı sıra görsel ve işitsel verilerin entegrasyonunu da içerdiğini ima ediyor gibi görünüyor.

Bu aynı zamanda AGI arayışında da doğal bir gelişme gibi görünüyor. Kendisiyle yaptığı röportajda "Genel zekanın insan seviyesindeki zekaya mı benzediği, insan artısı gibi mi olduğu veya uzak gelecekteki bir süper zeka mı olduğu konusunda tartışabilirsiniz" dedi. Sınır. "Fakat bana göre önemli olan, aslında bunun genişliği; yani zekanın, muhakeme yapabilmeniz ve sezgiye sahip olmanız gereken tüm bu farklı yeteneklere sahip olmasıdır."

Lama 3, Lama 2 ile nasıl karşılaştırılacak?

Zuckerberg ayrıca eğitim altyapısına da önemli yatırımlar yaptığını duyurdu. Meta, 2024'ün sonuna kadar yaklaşık 350,000 NVIDIA H100 GPU'ya sahip olmayı planlıyor; bu da Meta'nın toplam kullanılabilir bilgi işlem kaynaklarını, halihazırda sahip oldukları GPU'lar dahil edildiğinde "600,000 H100 eşdeğer hesaplamaya" ulaştıracak. Şu anda yalnızca Microsoft'un sahip olduğu karşılaştırılabilir bir bilgi işlem gücü stoğu.

Bu nedenle, Llama 3 modelleri öncekilerden daha büyük olmasa bile, Llama 2'ün Llama 3 modellerine göre önemli performans ilerlemeleri sunmasını beklemek mantıklı olacaktır. İddia edildiği gibi Deepmind'ın Mart 2022 tarihli bir makalesinde ve daha sonra Meta'daki modellerle (ve Fransa merkezli Mistral'dekiler gibi diğer açık kaynaklı modellerle) kanıtlandığı üzere, daha küçük modelleri daha fazla veri üzerinde eğitmek, daha büyük modelleri daha az veri ile eğitmekten daha yüksek performans sağlar.[IV] ' Llama 2, Llama 1 modelleriyle aynı boyutlarda (özellikle 7 milyar, 14 milyar ve 70 milyar parametreli varyantlarda) sunuldu ancak %40 daha fazla veriyle önceden eğitildi.

Llama 3 model boyutları henüz açıklanmamış olsa da önceki nesillerde oluşturulan 7-70 milyar parametreli modellerde artan performans modelini sürdürmeleri muhtemeldir. Meta'nın son dönemdeki altyapı yatırımları, her boyuttaki model için kesinlikle daha sağlam bir ön eğitim sağlayacaktır.

Lama 2 ayrıca Lama 1'in sayısını ikiye katladı bağlam uzunluğuBu, Lama 2'nin çıkarım sırasında, yani bağlamın oluşturulması veya bir sohbet robotuyla devam eden alışveriş sırasında iki kat daha fazla jeton değerindeki bağlamı "hatırlayabildiği" anlamına gelir. Belirsiz de olsa Llama 3'ün bu konuda daha fazla ilerleme sağlaması mümkün.

Llama 3, OpenAI'nin GPT-4'üyle nasıl karşılaştırılacak?

süre daha küçük LLaMA ve Lama 2 modelleri Belirli kıyaslamalarda daha büyük, 175 milyar parametreli GPT-3 modelinin performansını karşılamış veya aşmış olsa da, ChatGPT'de sunulan GPT-3.5 ve GPT-4 modellerinin tüm yetenekleriyle eşleşmediler.

Gelecek model nesilleriyle Meta, açık kaynak dünyasına en ileri performansı getirmeyi amaçlıyor gibi görünüyor. "Llama 2 sektör lideri bir model değildi ama en iyi açık kaynaklı modeldi" dedi. Verge. "Llama 3 ve ötesindeki tutkumuz, en son teknolojiye sahip şeyler ve nihayetinde sektördeki lider modelleri inşa etmektir."

Lama 3'e hazırlık

Yeni temel modellerle birlikte, iyileştirilmiş uygulamalar aracılığıyla rekabet avantajı sağlayacak yeni fırsatlar ortaya çıkıyor, chatbots, iş akışları ve otomasyonlar. Ortaya çıkan gelişmelerin önünde kalmak, geride kalmaktan kaçınmanın en iyi yoludur: Yeni araçları benimsemek, kuruluşların tekliflerini farklılaştırmasına ve hem müşterilere hem de çalışanlara en iyi deneyimi sunmalarına olanak tanır.

Onun sayesinde HuggingFace ile ortaklıkIBM watsonx™, Meta'nın Llama 2-chat'i de dahil olmak üzere sektör lideri birçok açık kaynak temel modelini destekler. 20,000'den fazla yapay zeka uzmanından oluşan küresel ekibimiz, verimli ve sorumlu bir şekilde ölçeklendirme yaptığınızdan emin olmak için şirketinizin ihtiyaçlarınıza en uygun araçları, teknolojileri ve teknikleri belirlemesine yardımcı olabilir.

IBM'in yapay zeka ilerlemesini hızlandırmaya hazırlanmanıza nasıl yardımcı olduğunu öğrenin

Üretken yapay zekayı watsonx™ ile çalıştırın