Yapay zeka bir gözyaşı üzerindedir. Makineler konuşabilir, yazabilir, oyun oynayabilir ve orijinal görüntüler, videolar ve müzikler üretebilir. Ancak yapay zekanın yetenekleri arttıkça algoritmaları da gelişir.

On yıl önce, makine öğrenimi algoritmaları on milyonlarca dahili bağlantıya dayanıyorduveya parametreler. Bugünün algoritmaları düzenli olarak yüz milyarlara ulaşıyor ve hatta trilyonlarca parametre. Araştırmacılar, ölçeklendirmenin hala performans kazanımları sağladığını ve on trilyonlarca parametreye sahip modellerin kısa sürede gelebileceğini söylüyor.

Bu kadar büyük modelleri eğitmek için güçlü bilgisayarlara ihtiyacınız var. 2010'ların başlarında yapay zeka, bir avuç grafik işleme birimiyle çalışırken - yapay zeka için çok önemli olan paralel işlemede üstün olan bilgisayar çipleri - bilgi işlem ihtiyaçları katlanarak büyüdüve en iyi modeller artık yüzlerce veya binlercesini gerektiriyor. açık AI, Microsoft, Metave diğerleri, görevi yerine getirmek için özel süper bilgisayarlar inşa ediyorlar ve bu AI makinelerinin gezegendeki en hızlılar arasında yer aldığını söylüyorlar.

Ancak GPU'lar AI ölçeklendirmesi için çok önemli olsa da (örneğin, Nvidia'nın A100'ü hala AI kümelerinde en hızlı, en yaygın kullanılan yongalardan biridir) son yıllarda özellikle AI için tasarlanmış daha garip alternatifler ortaya çıktı.

Cerebras böyle bir alternatif sunuyor.

Yapay Zekadan Yemek Yapmak

Bir yemek tabağı büyüklüğünde (bir kenarı yaklaşık 8.5 inç) şirketin Gofret Ölçeği Motoru, dünyanın en büyük silikon çipi2.6 trilyon transistör ve tek bir silikon gofret üzerine kazınmış 850,000 çekirdeğe sahiptir. Her Gofret Ölçekli Motor, şirketin CS-2 bilgisayarının kalbi olarak hizmet eder.

Tek başına, CS-2 bir canavar, ancak geçen yıl Cerebras bir plan açıkladı CS-2'leri MemoryX adlı harici bir bellek sistemi ve SwarmX adı verilen CS-2'leri bağlamak için bir sistemle birbirine bağlamak. Şirket, yeni teknolojinin 192 adede kadar çip bağlayabileceğini ve modelleri günümüzün en büyük, en gelişmiş AI'larından iki kat daha büyük eğitebileceğini söyledi.

Cerebras CEO'su ve kurucu ortağı Andrew Feldman, "Sektör 1 trilyon parametreli modelleri geçiyor ve biz bu sınırı iki kat genişleterek 120 trilyon parametreli beyin ölçeğinde sinir ağlarını etkinleştiriyoruz" dedi.

O zamanlar tüm bunlar teorikti. Ancak geçen hafta, şirket ilan etti 16 CS-2'yi birinci sınıf bir yapay zeka süper bilgisayarına bağlamışlardı.

Andromeda ile tanışın

Andromeda adı verilen yeni makine, 13.5 bit yarı hassasiyette bir exaflop (saniyede bir kentilyon işlem) üzerinde hız sağlayabilen 16 milyon çekirdeğe sahiptir. Çekirdeğindeki benzersiz çip nedeniyle Andromeda, daha geleneksel CPU'lar ve GPU'lar üzerinde çalışan süper bilgisayarlarla kolayca karşılaştırılamaz, ancak Feldman anlattı HPC Tel Andromeda kabaca Argonne Ulusal Laboratuvarı'nın Polaris süper bilgisayarına eşdeğerdir. dünyanın en hızlı 17., en son Top500 listesine göre.

Performansa ek olarak, Andromeda'nın hızlı yapım süresi, maliyeti ve kapladığı alan dikkat çekicidir. Argonne Polaris'i kurmaya başladı 2021 yazında ve süper bilgisayar yaklaşık bir yıl sonra yayına girdi. Süper bilgisayar bileşenlerini barındıran dosya dolabı benzeri muhafazalar olan 40 raf kaplıyor. Karşılaştırıldığında, Andromeda'nın maliyeti 35 milyon dolardı; bu, gücündeki bir makine için mütevazı bir fiyattı. bir araya getirmek için sadece üç günve yalnızca 16 raf kullanır.

Cerebras, OpenAI'nin geniş dil modeli GPT-3'ün yanı sıra Eleuther AI'nin açık kaynak GPT-J ve GPT-NeoX'in beş sürümünü eğiterek sistemi test etti. Ve Cerebras'a göre, belki de en önemli bulgu, Andromeda'nın büyük dil modelleri için yapay zeka iş yüklerinin "mükemmele yakın doğrusal ölçeklendirme" dedikleri şeyi göstermesidir. Kısacası bu, ek CS-2'ler eklendikçe eğitim sürelerinin orantılı olarak azaldığı anlamına gelir.

Tipik olarak şirket, daha fazla çip ekledikçe performans kazanımlarının azaldığını söyledi. Öte yandan Cerebras'ın WSE çipi, 850,000 çekirdeğin aynı silikon parçası üzerinde birbirine bağlı olması nedeniyle daha verimli ölçeklenebilir. Dahası, her çekirdeğin hemen yanında bir bellek modülü vardır. Birlikte ele alındığında çip, çekirdekler ve bellek arasında veri taşımak için harcanan süreyi kısaltır.

“Doğrusal ölçeklendirme, bir sistemden iki sisteme geçtiğinizde işinizin yarı yarıya tamamlanması anlamına gelir. Bu bilgi işlemde çok sıra dışı bir özellik," dedi Feldman. HPC Tel. Ve 16 bağlantılı sistemin ötesine ölçeklenebileceğini söyledi.

Cerebras'ın kendi testinin ötesinde, doğrusal ölçeklendirme sonuçları, araştırmacıların Andromeda'yı Covid-3 genomunun uzun dizileri üzerinde GPT-19-XL büyük dil algoritmasını eğitmek için kullandıkları Argonne Ulusal Laboratuvarı'ndaki çalışma sırasında da gösterildi.

Elbette, sistem 16 CS-2'nin ötesine ölçeklenebilse de, doğrusal ölçeklendirmenin ne dereceye kadar devam edeceği görülecektir. Ayrıca, Cerebras'ın diğer AI yongalarına karşı nasıl bir performans gösterdiğini henüz bilmiyoruz. Nvidia ve Intel gibi AI çip üreticileri başladı düzenli üçüncü taraf kıyaslamasına katılmak MLperf gibileri tarafından. Cerebras henüz katılmadı.

Yedek Alan

Yine de, yaklaşım, süper bilgi işlem dünyasında kendi nişini oluşturuyor gibi görünüyor ve büyük yapay zeka dilinde sürekli ölçeklendirme, birincil kullanım durumudur. Gerçekten de, Feldman söyledi Telli geçen sene şirketin zaten büyük dil modellerinde lider olan OpenAI'deki mühendislerle konuştuğunu. (OpenAI kurucusu Sam Altman da Cerebras'ta bir yatırımcıdır.)

2020'de piyasaya sürülen OpenAI'nin büyük dil modeli GPT-3, oyunu hem performans hem de boyut açısından değiştirdi. 175 milyar parametre ağırlığında, o zamanın en büyük AI modeliydi ve yetenekleriyle araştırmacıları şaşırttı. O zamandan beri, dil modelleri trilyonlarca parametreye ulaştı ve daha büyük modeller yakında gelebilir. Söylentiler var- sadece şu ana kadar - OpenAI çok da uzak olmayan bir gelecekte GPT-4'ü piyasaya sürecek ve GPT-3'ten başka bir sıçrama olacak. (Bu sayımı bekleyip görmemiz gerekecek.)

Bununla birlikte, yeteneklerine rağmen, büyük dil modelleri ne mükemmel ne de evrensel olarak beğeniliyor. Kusurları, yanlış, önyargılı ve saldırgan olabilecek çıktıları içerir. Bilimsel metinler üzerine eğitilmiş Meta'nın Galactica'sı yeni bir örnek. Açık internette eğitimden daha az zehirli olduğu varsayılabilecek bir veri kümesine rağmen, model kolayca zararlı ve yanlış metinler üretmeye yönlendirildi ve sadece üç gün içinde geri çekildi. Araştırmacıların dil yapay zekasının eksikliklerini çözüp çözemeyeceği belirsizliğini koruyor.

Yine de, azalan getiriler devreye girene kadar ölçeği büyütmenin devam etmesi muhtemel görünüyor. Bir sonraki sıçrama hemen köşede olabilir ve bunu gerçekleştirecek donanıma zaten sahip olabiliriz.

Resim Kredi: Cerebras

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.Buraya Tıkla
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://singularityhub.com/2022/11/22/this-ai-supercomputer-has-13-5-million-cores-and-was-built-in-just-three-days/