Çarşamba günü Google, dördüncü nesil Tensör İşlem Birimi çipinin (TPU v4) daha fazla ayrıntısını açıkladı ve silikonunun Nvidia'nın A100 Tensor Core GPU'sundan daha hızlı olduğunu ve daha az güç kullandığını iddia etti.
Google ve UC Berkeley'den araştırmacılar, TPU v4'ün "Nvidia A1.2'den 1.7x–1.3x daha hızlı ve 1.9x–100x daha az güç kullandığını" söyledi. Kağıt Uluslararası Bilgisayar Mimarisi Sempozyumu'ndaki Haziran sunumundan önce yayınlandı. Bizimkiler Bir Sonraki Platform Daha önce dalmış TPU v4'ün mimarisi burada çipler hakkında yayınlanan daha önceki materyallere dayanmaktadır.
Google'ın bu hafta yaptığı açıklamadan sonra, Nvidia tesadüfen bir blog yazısı Kurucu ve CEO Jensen Huang, A100'ün üç yıl önce piyasaya çıktığını ve Nv'nin daha yeni H100 (Hopper) GPU'larının, MLPerf 4 karşılaştırma ölçütlerine göre A100'den 3.0 kat daha fazla performans sağladığını belirtti.
Google'ın TPU v4'ü de üç yıl önce, 2020'de hizmete girdi ve o zamandan beri iyileştirildi. Google/UC Berkley yazarları, TPU v4'ü daha yeni H100'e (2022'de duyurulmuştur) karşı ölçmemeyi seçtiklerini, çünkü Google'ın üretim uygulamalarını çalıştırmak için dağıtıldıktan ve kullanıldıktan sonra teknolojiler hakkında makaleler yazmayı tercih ettiğini açıklıyor.
Makalede "Hem TPU v4s hem de A100s 2020'de dağıtıldı ve her ikisi de 7nm teknolojisini kullanıyor" diye açıklıyor. "Daha yeni olan 700W H100, 2022'de AWS, Azure veya Google Cloud'da mevcut değildi. Uygun H100 eşleşmesi, benzer bir zaman dilimi ve teknolojide (ör. 4 ve 2023nm'de) dağıtılan TPU v4'ün halefi olacaktır."
Araştırmacılara göre TPU v4, şirketin makine öğrenimi için ayarlanmış beşinci alana özgü mimarisini (DSA) ve makine öğrenimi modelleri için üçüncü süper bilgisayarını temsil ediyor. Yine de “v4” olarak adlandırılır.
Sizin ve sizin için TPU
Reklam dünyası ilk TPU'sunu tanıttı geri 2016 içinde, AI sosu her ürüne ve basın açıklamasına dökülmeden önce. Yeni TPU v4'ün önceki v3'ten 2.1 kat daha iyi performans gösterdiği ve Watt başına 2.7 kat daha iyi performans gösterdiği iddia ediliyor.
TPU v4'teki göze çarpan yenilikler, optik veri bağlantılarına sahip Optik Devre Anahtarlarının (OCS) piyasaya sürülmesini ve SparseCores'un (SC) entegrasyonunu, yani veri akışı işlemcilerine dayanan modeller için hesaplamaları hızlandırmayı içerir. kalıplamaların, öneri sistemleri gibi.
OCS ara bağlantı donanımı, Google'ın 4K TPU düğümü süper bilgisayarının, zaman zaman (yüzde 1,000-0.1) kullanılamayan 1.0 CPU ana bilgisayarıyla soruna yol açmadan çalışmasına olanak tanır.
Araştırmacılar, OCS olmadan ana bilgisayar kullanılabilirliğinin yüzde 99.9 olması gerektiğini belirterek, "Bir OCS, arızaların etrafından dolaşarak kullanılabilirliği artırır" diye açıklıyor. OCS ile, Google'ın TPU süper bilgisayarında etkin aktarım hızı ("iyi veri"), ana bilgisayar kullanılabilirliği yaklaşık yüzde 99.0 ile elde edilebilir.
Araştırmacıların açıklamasına göre SC, TPU v2 ile başlayan ve sonraki yinelemelerde doğaçlama yapılan yerleştirme eğitimi için bir DSA'dır. SC işlemciler "gömmelere dayanan modelleri 5x-7x hızlandırıyor, ancak kalıp alanının ve gücün yalnızca yüzde beşini kullanıyor" diyorlar.
Gömmeye bağlı derin öğrenme öneri modellerinin (DLRM'ler) Google'ın iş yüklerinin dörtte birini temsil ettiği göz önüne alındığında, bu, ödenmesi gereken makul bir bedel gibi görünüyor. Bilim adamları, bunların Google'ın reklamcılık, arama sıralaması, YouTube ve Google Play uygulamalarında kullanıldığını belirtiyor.
Bilim adamlarının iddiasına göre, Google Cloud'un yaptığı gibi bir veri merkezindeki bir süper bilgisayarda birleştirilmiş 4,096 TPU v4 düğümü alın ve ortaya çıkan donanım, rakip DSA'lardan ~2–6 kat daha az enerji ve ~20 kat daha az karbondioksit emisyonu gerektiriyor.
Çoğunluğu Google'da çalışan yazarlar, "Karbon ayak izinde ~20x azalma, makine öğreniminin şaşırtıcı potansiyelini sürdürülebilir bir şekilde sunma şansını büyük ölçüde artırıyor" diyor, ancak alçakta bulunan kıyı mülklerini sağlam bir uzun vadeli olarak onaylamaktan geri kalmıyorlar. vadeli yatırım.
Google, dahili ve harici kullanım için konuşlandırılmış düzinelerce bu süper bilgisayara sahiptir. Bu nedenle, dolaylı iklim zararı konusunda biraz daha az suçluluk duyarak YouTube önerilerinizin keyfini çıkarın. Sadece varoluşsal korkunuzu, makine öğrenimi uygulamalarına yönelik artan taleple çoğaltmayı unutmayın. ®
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://go.theregister.com/feed/www.theregister.com/2023/04/06/google_tpuv4_hardware_nvidia/
