Sızan bir Google notu, Google'ın neden açık kaynak yapay zekaya karşı kaybettiğini tek tek özetliyor ve platformun hakimiyetine ve sahipliğine giden bir yol öneriyor.

Not, rakiplerinin hiçbir zaman OpenAI olmadığını ve her zaman Açık Kaynak olacağını kabul ederek açılıyor.

Açık Kaynakla Rekabet Edilemez

Dahası, hiçbir şekilde açık kaynakla rekabet edecek konumda olmadıklarını ve yapay zeka hakimiyeti mücadelesini zaten kaybettiklerini kabul ediyorlar.

Onlar yazdı:

“OpenAI'de omuzlarımızın üzerinden pek çok şey inceledik. Bir sonraki kilometre taşını kim geçecek? Bir sonraki hamle ne olacak?

Ancak rahatsız edici gerçek şu ki, biz bu silahlanma yarışını kazanacak konumda değiliz ve OpenAI de öyle. Biz kavga ederken, üçüncü bir grup sessizce öğle yemeğimizi yiyor.

Elbette açık kaynaktan bahsediyorum.

Açıkça söylemek gerekirse, bizi alıştırıyorlar. “Büyük açık sorunlar” olarak nitelendirdiğimiz şeyler bugün çözüldü ve insanların elinde.”

Notun büyük bir kısmı, Google'ın açık kaynak tarafından nasıl geride bırakıldığını anlatmaya harcanıyor.

Her ne kadar Google'ın açık kaynağa göre ufak bir avantajı olsa da, notun yazarı onun kayıp gittiğini ve bir daha geri dönmeyeceğini kabul ediyor.

Kendilerine dağıttıkları metaforik kartların öz analizi oldukça olumsuzdur:

“Modellerimiz kalite açısından hâlâ ufak bir avantaja sahip olsa da aradaki fark şaşırtıcı derecede hızlı bir şekilde kapanıyor.

Açık kaynaklı modeller daha hızlıdır, daha özelleştirilebilir, daha özeldir ve her açıdan daha yeteneklidir.

Bizim 100 Milyon Dolar ve 13 Milyar Dolar'da uğraştığımız işleri onlar 10 Dolar ve 540 Milyar Param'larla yapıyorlar.

Ve bunu aylar değil, haftalar içinde yapıyorlar.”

Büyük Dil Modeli Boyutu Avantaj Değildir

Belki de notta ifade edilen en tüyler ürpertici fark, Google'ın büyüklüğünün artık bir avantaj olmadığıdır.

Modellerinin tuhaf derecede büyük boyutları, artık hiçbir şekilde düşündükleri aşılmaz bir avantaj değil, dezavantaj olarak görülüyor.

Sızan not, Google'ın (ve OpenAI'nin) yapay zeka üzerindeki kontrolünün hızla sona erebileceğinin sinyalini veren bir dizi olayı listeliyor.

Açık kaynak topluluğunun, yalnızca bir ay önce, Mart 2023'te, Meta tarafından geliştirilen LLaMA adlı sızdırılmış bir açık kaynak modeli (büyük dil modeli) elde ettiğini anlatıyor.

Günler ve haftalar içinde küresel açık kaynak topluluğu, Bard ve ChatGPT klonlarını oluşturmak için gerekli tüm yapı parçalarını geliştirdi.

Talimatların ayarlanması ve insan geri bildiriminden (RLHF) takviyeli öğrenme (RLHF) gibi karmaşık adımlar, küresel açık kaynak topluluğu tarafından hızlı bir şekilde ucuza kopyalandı.

• Talimat ayarı
  Başlangıçta eğitim almadığı belirli bir şeyi yapmasını sağlamak için bir dil modeline ince ayar yapma süreci.
• İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF)
  İnsanların bir dil modeli çıktısını derecelendirdiği ve böylece hangi çıktıların insanlar için tatmin edici olduğunu öğrendiği bir teknik.

RLHF, OpenAI tarafından ChatGPT'nin temelini oluşturan bir model olan ve GPT-3.5 ve GPT-4 modellerinin talimat almasına ve görevleri tamamlamasına olanak tanıyan InstructGPT'yi oluşturmak için kullanılan tekniktir.

RLHF açık kaynağın aldığı yangındır

Açık Kaynağın Boyutu Google'ı Korkutuyor

Google'ı özellikle korkutan şey, Açık Kaynak hareketinin projelerini kapalı kaynağın yapamayacağı şekilde ölçeklendirebilmesidir.

Açık kaynaklı ChatGPT klonu Dolly 2.0'ı oluşturmak için kullanılan soru ve cevap veri kümesi tamamen binlerce gönüllü çalışan tarafından oluşturuldu.

Google ve OpenAI kısmen Reddit gibi sitelerden alınan soru ve yanıtlara güvendi.

Databricks tarafından oluşturulan açık kaynaklı Soru-Cevap veri setinin daha yüksek kalitede olduğu iddia ediliyor çünkü bu setin oluşturulmasına katkıda bulunan insanlar profesyoneldi ve verdikleri cevaplar, bir veri setinden alınan tipik bir soru-cevap veri setinde bulunanlardan daha uzun ve daha önemliydi. halka açık forum.

Sızdırılan notta şu ifadelere yer verildi:

“Mart ayının başında, Meta'nın LLaMA'sı kamuoyuna sızdırıldığında, açık kaynak topluluğu gerçekten yetenekli ilk temel modeline sahip oldu.

Talimat veya konuşma ayarı yoktu ve RLHF yoktu.

Bununla birlikte topluluk kendilerine verilenin önemini hemen anladı.

Bunu, büyük gelişmeler arasında sadece birkaç gün bırakarak, muazzam bir yenilik patlaması izledi…

Yaklaşık bir ay sonra buradayız ve talimatların ayarlanması, niceleme, kalite iyileştirmeleri, insan değerlendirmeleri, multimodalite, RLHF vb. ile birçoğu birbirinin üzerine inşa edilen varyantlar var.

En önemlisi ölçeklendirme sorununu herkesin çözebileceği ölçüde çözmüşler.

Yeni fikirlerin çoğu sıradan insanlardan geliyor.

Eğitim ve deneylere giriş engeli, büyük bir araştırma kuruluşunun toplam çıktısından tek bir kişiye, bir akşama ve güçlü bir dizüstü bilgisayara düştü.”

Başka bir deyişle, Google ve OpenAI'nin eğitmesi ve oluşturması aylar ve yıllar süren süreç, açık kaynak topluluğu için yalnızca birkaç gün sürdü.

Bu Google için gerçekten korkutucu bir senaryo olsa gerek.

Açık kaynak yapay zeka hareketi hakkında bu kadar çok yazmamın nedenlerinden biri de bu, çünkü üretken yapay zekanın geleceği nispeten kısa bir süre içinde gerçekten nerede olacak gibi görünüyor.

Açık Kaynak Tarihsel Olarak Kapalı Kaynağı Aştı

Notta, Bard ve ChatGPT gibi Üretken Yapay Zekanın başına gelenlerin habercisi olarak, açık kaynak Stabil Difüzyona karşı görüntü oluşturmak için kullanılan derin öğrenme modeli olan OpenAI'nin DALL-E'si ile ilgili son deneyimden bahsediliyor.

Dall-e, Ocak 2021'de OpenAI tarafından piyasaya sürüldü. Açık kaynak sürümü olan Stable Diffusion, bir buçuk yıl sonra Ağustos 2022'de yayınlandı ve birkaç kısa hafta içinde Dall-E'nin popülaritesini geride bıraktı.

Bu zaman çizelgesi grafiği, Stabil Difüzyonun Dall-E'yi ne kadar hızlı geride bıraktığını gösteriyor:

Yukarıdaki Google Trendler zaman çizelgesi, açık kaynaklı Stabil Difüzyon modeline olan ilginin, piyasaya sürülmesinden sonraki üç hafta içinde Dall-E'ninkini nasıl büyük ölçüde aştığını gösteriyor.

Ve Dall-E bir buçuk yıldır piyasada olmasa da Stabil Difüzyon'a olan ilgi katlanarak artmaya devam ederken OpenAI'nin Dall-E'si durgun kaldı.

Bard'ı (ve OpenAI'yi) geride bırakan benzer olayların varoluşsal tehdidi Google'a kabuslar yaşatıyor.

Açık Kaynak Modelinin Oluşturulma Süreci Üstündür

Google'daki mühendisleri endişelendiren bir diğer faktör de, açık kaynak modelleri oluşturma ve geliştirme sürecinin hızlı, ucuz olması ve açık kaynak projelerinde yaygın olan küresel işbirlikçi yaklaşıma mükemmel şekilde uygun olmasıdır.

Bildiride, LoRA (Büyük Dil Modellerinin Düşük Sıralı Uyarlanması) gibi yeni tekniklerin, son LLM'nin son derece daha pahalı LLM'lerle karşılaştırılabilir olmasıyla, son derece düşük maliyetle birkaç gün içinde dil modellerinin ince ayarına izin verdiği gözlemleniyor. Google ve OpenAI tarafından oluşturuldu.

Diğer bir fayda ise açık kaynak mühendislerinin sıfırdan başlamak yerine önceki çalışmaların üzerine inşa edip tekrarlayabilmeleridir.

OpenAI ve Google'ın yaptığı gibi milyarlarca parametreye sahip büyük dil modelleri oluşturmak bugün gerekli değil.

Yakın zamanda Sam Alton'un devasa büyük dil modelleri çağının sona erdiğini söylerken ima ettiği nokta bu olabilir.

Google notunun yazarı, LLM oluşturmaya yönelik ucuz ve hızlı LoRA yaklaşımını mevcut büyük yapay zeka yaklaşımıyla karşılaştırdı.

Notun yazarı Google'ın eksikliğini şöyle dile getiriyor:

"Buna karşılık, dev modelleri sıfırdan eğitmek yalnızca ön eğitimi ortadan kaldırmakla kalmıyor, aynı zamanda üstte yapılan yinelemeli iyileştirmeleri de ortadan kaldırıyor. Açık kaynak dünyasında, bu gelişmelerin hakim olması çok uzun sürmez, bu da tam bir yeniden eğitimin aşırı maliyetli olmasını sağlar.

Her yeni uygulama veya fikrin gerçekten yeni bir modele ihtiyacı olup olmadığı konusunda dikkatli olmalıyız.

…Aslında, mühendislik saatleri açısından, bu modellerdeki iyileştirme hızı, en büyük varyantlarımızla yapabileceklerimizi çok geride bırakıyor ve en iyileri zaten ChatGPT'den büyük ölçüde ayırt edilemez.”

Yazar, avantajları olduğunu düşündükleri dev modellerin ve buna eşlik eden fahiş maliyetlerin aslında bir dezavantaj olduğunun farkına vararak bitiriyor.

Açık Kaynağın küresel işbirlikçi doğası daha verimlidir ve inovasyonda çok daha hızlıdır.

Kapalı kaynaklı bir sistem dünya çapındaki çok sayıda mühendisle nasıl rekabet edebilir?

Yazar, rekabet edemeyecekleri ve doğrudan rekabetin kendi deyimiyle "kaybeden bir teklif" olduğu sonucuna varıyor.

İşte Google'ın dışında gelişen kriz, fırtına.

Açık Kaynağı Yenemiyorsanız Onlara Katılın

Not yazarının açık kaynakta bulduğu tek teselli, açık kaynak yeniliklerinin ücretsiz olması nedeniyle Google'ın da bundan yararlanabilmesidir.

Son olarak yazar, Google'a açık olan tek yaklaşımın, açık kaynaklı Chrome ve Android platformlarına hakim oldukları gibi platforma da sahip olmak olduğu sonucuna varıyor.

Meta'nın araştırma için LLaMA geniş dil modelini yayınlamaktan nasıl faydalandığına ve artık binlerce insanın işlerini ücretsiz olarak yapmasına dikkat çekiyorlar.

Belki de nottan çıkan en büyük çıkarım, Google'ın yakın gelecekte projelerini açık kaynak temelinde yayınlayarak açık kaynak hakimiyetini kopyalamaya çalışabileceği ve dolayısıyla platformun sahibi olabileceğidir.

Notta, açık kaynağa geçmenin en uygun seçenek olduğu sonucuna varılıyor:

“Google, açık kaynak topluluğunda kendisini bir lider haline getirmeli, daha geniş kapsamlı tartışmayı göz ardı etmek yerine işbirliği yaparak liderliği üstlenmeli.

Bu muhtemelen küçük ULM çeşitleri için model ağırlıklarını yayınlamak gibi bazı rahatsız edici adımlar atmak anlamına geliyor. Bu mutlaka modellerimiz üzerindeki bazı kontrollerden vazgeçmek anlamına gelir.

Ancak bu uzlaşma kaçınılmazdır.

Hem yeniliği teşvik etmeyi hem de onu kontrol etmeyi umut edemeyiz.”

Açık Kaynak, Yapay Zeka Ateşiyle Uzaklaşıyor

Geçen hafta, insan kahramanı Prometheus'un Olimpos Dağı'ndaki tanrılardan ateş çaldığına ilişkin Yunan mitine bir gönderme yaptım ve Prometheus'un açık kaynağını Google ve OpenAI'nin "Olimpiyat tanrıları" ile karşı karşıya getirdim:

I tweeted:

"Google, Microsoft ve Açık Yapay Zeka birbirleriyle çekişip sırtlarını dönerken, Açık Kaynak onların ateşini bırakıp gidiyor mu?"

Google'ın notunun sızdırılması bu gözlemi doğruluyor, ancak aynı zamanda Google'ın açık kaynak hareketine katılma ve böylece onu benimseme ve Chrome ve Android ile aynı şekilde ona hakim olma yönünde olası bir strateji değişikliğine de işaret ediyor.

Sızan Google notunu buradan okuyun:

Google “Hendekimiz Yok, OpenAI de Yok”

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
• Kaynak: https://www.searchenginejournal.com/leaked-google-memo-admits-defeat-by-open-source-ai/486290/