ABD'li donanım girişimi Cerebras, dünyanın en büyük Wafer Scale Engine 2 yongası tarafından desteklenen tek bir cihaz üzerinde en büyük AI modelini bir plaka boyutunda eğittiğini iddia ediyor.

“Müşterilerimiz, Cerebras Yazılım Platformunu (CSoft) kullanarak, tek bir CS-3 sisteminde 20 milyara kadar parametre ile son teknoloji GPT dil modellerini (GPT-2 ve GPT-J gibi) kolayca eğitebilir, " şirket iddia bu hafta. "Tek bir CS-2 üzerinde çalışan bu modellerin kurulumu dakikalar alıyor ve kullanıcılar sadece birkaç tuşa basarak modeller arasında hızla geçiş yapabiliyor."

CS-2, 850,000'den fazla çekirdeğe sahiptir ve 40 PB/sn bellek bant genişliğine ulaşabilen 20 GB yonga üstü belleğe sahiptir. Diğer yapay zeka hızlandırıcıları ve GPU'ların özellikleri kıyaslandığında sönük kalıyor, bu da makine öğrenimi mühendislerinin daha fazla sunucuda milyarlarca parametre içeren devasa yapay zeka modellerini eğitmesi gerektiği anlamına geliyor.

Cerebras, en büyük modeli tek bir cihazda eğitmeyi başarmış olsa da, yine de büyük AI müşterilerini kazanmak için mücadele edecek. En büyük sinir ağı sistemleri bugünlerde yüz milyarlarca ila trilyonlarca parametre içeriyor. Gerçekte, bu modelleri eğitmek için daha birçok CS-2 sistemine ihtiyaç duyulacaktır. 

Makine öğrenimi mühendisleri, eğitimi GPU'lar veya TPU'lar içeren çok sayıda makineye dağıtırken karşılaştıkları zorluklarla muhtemelen benzer zorluklarla karşılaşacaklardır - öyleyse neden bu kadar fazla yazılım desteği olmayan daha az tanıdık bir donanım sistemine geçelim?

Sürpriz, sürpriz: İnternet verileriyle eğitilen robot ırkçı ve cinsiyetçiydi

İnternetten alınan kusurlu bir veri kümesi üzerinde eğitilen bir robot, bir deneyde ırkçı ve cinsiyetçi davranışlar sergiledi.

Johns Hopkins Üniversitesi, Georgia Teknoloji Enstitüsü ve Washington Üniversitesi'nden araştırmacılar, bir robota blokları bir kutuya koyması talimatını verdi. Bloklar, insan yüzlerinin görüntüleri ile yapıştırıldı. Robota doktor, ev hanımı veya suçlu olduğuna inandığı bloğu renkli bir kutuya koyması için talimatlar verildi.

Robot, genellikle metinden görüntüye sistemlerinde kullanılan CLIP tabanlı bir bilgisayarlı görme modeli tarafından destekleniyordu. Bu modeller, bir nesnenin kelime açıklamasına görsel olarak eşlenmesini öğrenmek için eğitilmiştir. Bir başlık verildiğinde, cümleyle eşleşen bir görüntü oluşturabilir. Ne yazık ki, bu modeller genellikle eğitim verilerinde bulunan aynı önyargıları sergiler. 

Örneğin, robotun ev hanımı olarak kadınların yüzleriyle blokları tanımlaması veya Siyah yüzleri Beyaz erkeklerden daha fazla suçlu olarak ilişkilendirmesi daha olasıydı. Cihaz ayrıca kadınları ve beyaz ve Asyalı erkeklerden daha az koyu tenli olanları tercih ediyor gibiydi. Araştırma sadece bir deney olmasına rağmen, kusurlu veriler üzerinde eğitilmiş robotların kullanılması gerçek hayatta sonuçlar doğurabilir.

Johns Hopkins'te bilgisayar bilimi okuyan yüksek lisans öğrencisi Vicky Zeng, "Bir evde, bir çocuk güzel bebeği istediğinde, robot beyaz bebeği alıyor olabilir." şuraya. “Ya da belki kutu üzerinde modelleri olan birçok ürünün olduğu bir depoda, robotun üzerinde Beyaz yüzlü ürünlere daha sık ulaştığını düşünebilirsiniz.”

En büyük açık kaynak dil modeli yayınlandı

Rus internet biz Yandex, bu hafta 100 milyar parametreli bir dil modelinin kodunu yayınladı.

adı verilen sistem YLM, internetten alınan 1.7 TB metin verisi üzerinde eğitildi ve hesaplama için 800 Nvidia A100 GPU gerektirdi. İlginç bir şekilde, kod Modelin araştırma ve ticari amaçlar için kullanılabileceği anlamına gelen Apache 2.0 lisansı altında yayınlandı.

Akademisyenler ve geliştiriciler, büyük dil modellerini çoğaltma ve açma çabalarını memnuniyetle karşıladılar. Bu sistemlerin oluşturulması zordur ve genellikle yalnızca büyük teknoloji şirketleri bunları geliştirmek için gerekli kaynaklara ve uzmanlığa sahiptir. Genellikle tescillidirler ve erişimleri olmadan incelenmesi zordur.

Yandex'den bir sözcü, “Küresel teknolojik ilerlemenin yalnızca işbirliği yoluyla mümkün olduğuna gerçekten inanıyoruz” dedi. Kayıt. “Büyük teknoloji şirketleri, araştırmacıların açık sonuçlarına çok şey borçlu. Ancak son yıllarda, büyük dil modelleri de dahil olmak üzere son teknoloji NLP teknolojileri, eğitim kaynakları yalnızca büyük teknolojiler için mevcut olduğundan bilim camiası için erişilemez hale geldi.”

"Dünyanın her yerindeki araştırmacıların ve geliştiricilerin bu çözümlere erişmesi gerekiyor. Yeni araştırmalar olmadan büyüme azalacaktır. Bunu önlemenin tek yolu, en iyi uygulamaları toplulukla paylaşmaktır. Dil modelimizi paylaşarak küresel NLP'nin gelişim hızını destekliyoruz.”

Instagram, kullanıcıların yaşını doğrulamak için AI kullanacak

Instagram'ın ana şirketi Meta, kullanıcılarının 18 yaş ve üzeri olduğunu doğrulamak için, fotoğrafları analiz etmek için AI kullanmak da dahil olmak üzere yeni yöntemleri test ediyor.

Araştırma ve anekdot niteliğindeki kanıtlar, sosyal medya kullanımının çocuklara ve genç gençlere zararlı olabileceğini göstermiştir. Instagram'daki kullanıcılar, uygulamayı kullanacak yaşta olduklarını doğrulamak için doğum tarihlerini sağlar. En az 13 yaşında olmalısınız ve 18 yaşın altındakiler için daha fazla kısıtlama var.

Şimdi, ana şirketi Meta, doğum tarihlerini değiştiren birinin 18 yaşından büyük olduğunu doğrulamak için üç farklı yol deniyor. 

"Birisi Instagram'da 18 yaşından 18 yaşından XNUMX yaşına kadar doğum tarihini düzenlemeye çalışırsa, üç seçenekten birini kullanarak yaşını doğrulamasını isteriz: kimliklerini yükleyin, bir video özçekimi kaydedin veya ortak arkadaşlarına sorun. yaşlarını doğrulamak için," şirket açıkladı bu hafta.

Meta, insanların yaşlarını analiz etmek için bir dijital kimlik platformu olan Yoti ile ortaklık kurduğunu söyledi. Video özçekiminden alınan görüntüler, birinin yaşını tahmin etmek için Yoti'nin yazılımı tarafından incelenecek. Meta, Yoti'nin "dünyanın dört bir yanından çeşitli insanların isimsiz görüntüleri üzerinde bir veri seti" kullandığını söyledi.

Araştırmacılara göre GPT-4chan kötü bir fikirdi

Yüzlerce akademisyen kınama mektubuna imza attı GPT-4 kanal, AI dil modeli, kötü şöhretli zehirli internet mesaj panosu 130chan'daki 4 milyondan fazla gönderide eğitildi.

"Geniş dil modelleri ve daha genel olarak temel modeller, potansiyel olarak önemli zarar riski taşıyan güçlü teknolojilerdir" mektupStanford Üniversitesi'nde iki profesörün öncülüğünde başladı. “Ne yazık ki, biz AI topluluğu, sorumlu geliştirme ve dağıtım konusunda şu anda topluluk normlarına sahip değiliz. Bununla birlikte, AI topluluğunun üyelerinin açıkça sorumsuz uygulamaları kınaması çok önemlidir.”

Bu tür sistemler çok miktarda metin üzerinde eğitilir ve verileri taklit etmeyi öğrenir. Netizenler arasında bir sohbete benzeyen GPT-4chan'ı besleyin ve karışıma daha fazla sahte dedikodu eklemeye devam edecektir. 4chan, rahat içerik denetleme kurallarına sahip olmasıyla ünlüdür - kullanıcılar anonimdir ve yasa dışı olmadığı sürece her şeyi gönderebilir. GPT-4chan, şaşırtıcı olmayan bir şekilde, benzer seviyelerde toksisite ve içerik içeren metinler yaymaya başladı. 4chan'da serbest bırakıldığında, bazı kullanıcılar bot olup olmadığından emin değildi.

Şimdi uzmanlar, yaratıcısı YouTuber Yannic Kilcher'ı modeli sorumsuzca kullandığı için eleştirdi. “Toksik konuşma üzerine bir dil modeli eğitmek için makul bir durum hayal etmek mümkün - örneğin, internette toksisiteyi tespit etmek ve anlamak veya genel analiz için. Ancak Kilcher'ın bu botu dağıtma kararı, herhangi bir makullük testini karşılamıyor. Eylemleri kınamayı hak ediyor. Yapay zeka biliminin sorumlu uygulamasını baltalıyor, ”diye sona erdi mektup. ®