Yapay zeka algoritmaları mevcut hızlarında büyümeye devam edemez. Beyinden gevşek bir şekilde ilham alan, ağırlık adı verilen sayısal değerlerle birbirine bağlanan çok sayıda yapay nöron katmanına sahip derin sinir ağları gibi algoritmalar her yıl daha da büyüyor. Ancak bu günlerde, donanım geliştirmeleri artık bu devasa algoritmaları çalıştırmak için gereken muazzam miktarda bellek ve işleme kapasitesine ayak uyduramıyor. Yakında, yapay zeka algoritmalarının boyutu duvara çarpabilir.

Yapay zekanın taleplerini karşılamak için donanımı büyütmeye devam etsek bile, başka bir sorun daha var: bunları geleneksel bilgisayarlarda çalıştırmak muazzam miktarda enerji israfına neden oluyor. Büyük AI algoritmalarını çalıştırmaktan kaynaklanan yüksek karbon emisyonları zaten çevre için zararlıdır ve algoritmalar daha da devasa hale geldikçe daha da kötüleşecektir.

Nöromorfik bilgi işlem adı verilen bir çözüm, enerji açısından verimli tasarımlar oluşturmak için biyolojik beyinlerden ilham alır. Ne yazık ki, bu çipler enerji tasarrufunda dijital bilgisayarları geride bırakabilse de, oldukça büyük bir derin sinir ağını çalıştırmak için gereken hesaplama gücünden yoksunlar. Bu, AI araştırmacılarının gözden kaçırmasını kolaylaştırdı.

Bu nihayet ağustos ayında değişti. Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs ve meslektaşları yeni bir nöromorfik çip ortaya çıkardı 3 milyon bellek hücresi ve algoritmaları çalıştırmak için donanımına yerleştirilmiş binlerce nöron içeren NeuRRAM olarak adlandırılır. Dirençli RAM veya RRAM adı verilen nispeten yeni bir bellek türü kullanır. Önceki RRAM yongalarından farklı olarak NeuRRAM, daha fazla enerji ve alan tasarrufu sağlamak için analog bir şekilde çalışacak şekilde programlanmıştır. Dijital bellek ikili iken (neuRRAM çipinde 1 veya 0) analog bellek hücrelerinin her biri tamamen sürekli bir aralıkta birden fazla değer depolayabilir. Bu, çipin aynı miktarda çip alanında büyük AI algoritmalarından daha fazla bilgi depolamasına olanak tanır.

Sonuç olarak, yeni çip, görüntü ve konuşma tanıma gibi karmaşık AI görevlerinde dijital bilgisayarların yanı sıra performans gösterebiliyor ve yazarlar, bunun 1,000 kata kadar daha fazla enerji verimli olduğunu iddia ederek, küçük çiplerin giderek daha karmaşık algoritmaları çalıştırma olasılığını artırıyor. akıllı saatler ve telefonlar gibi önceden yapay zeka için uygun olmayan küçük cihazlarda.

Çalışmaya dahil olmayan araştırmacılar sonuçlardan derinden etkilendiler. "Bu kağıt oldukça benzersiz," dedi Zhongrui Wang, Hong Kong Üniversitesi'nde uzun süredir RRAM araştırmacısı. "Cihaz düzeyinde, devre mimarisi düzeyinde ve algoritma düzeyinde olmak üzere farklı düzeylerde katkı sağlıyor."

Yeni Anılar Oluşturma

Dijital bilgisayarlarda, AI algoritmalarını çalıştırırken boşa harcanan büyük miktarda enerji, her bir hesaplamayı verimsiz hale getiren basit ve her yerde bulunan bir tasarım kusurundan kaynaklanır. Tipik olarak, hesaplama sırasında sıkıştırdığı verileri ve sayısal değerleri tutan bir bilgisayarın belleği, hesaplamanın yapıldığı işlemciden uzağa anakart üzerine yerleştirilir.

Daha önce Stanford Üniversitesi'nde bilgisayar bilimcisi olan ve yakın zamanda yapay zeka girişimi Aizip'e geçen Wan, işlemciden geçen bilgiler için, "İşe gidip gelirken sekiz saat harcıyorsunuz, ancak iki saat çalışıyorsunuz gibi" dedi.

Belleği ve hesaplamayı aynı yere koyan yeni hepsi bir arada yongalarla bu sorunu çözmek kolay görünüyor. Aynı zamanda beynimizin bilgiyi nasıl işlediğine daha yakın çünkü birçok sinirbilimci, hesaplamanın nöron popülasyonları içinde gerçekleştiğine inanırken, nöronlar arasındaki sinapslar bağlantılarını güçlendirdiğinde veya zayıflattığında anılar oluşuyor. Ancak, mevcut bellek biçimleri işlemcilerdeki teknolojiyle uyumsuz olduğundan, bu tür aygıtları oluşturmak zor oldu.

Bilgisayar bilimcileri onlarca yıl önce, belleğin depolandığı yerde hesaplamalar yapan yeni çipler oluşturmak için malzemeleri geliştirdiler — bellekte hesaplama olarak bilinen bir teknoloji. Ancak geleneksel dijital bilgisayarlar bu kadar iyi performans gösterdiğinden, bu fikirler onlarca yıldır göz ardı edildi.

Stanford'dan bir profesör olan Wong, "Bu çalışma, tıpkı çoğu bilimsel çalışma gibi, bir şekilde unutuldu" dedi.

Gerçekten de, ilk bu tür cihaz en az 1964 yılına kadar uzanır, Stanford'daki elektrik mühendisleri, elektriği iletme yeteneklerini açıp kapatmak için metal oksit adı verilen belirli malzemeleri manipüle edebileceklerini keşfettiler. Bu önemlidir, çünkü bir malzemenin iki durum arasında geçiş yapma yeteneği, geleneksel bellek depolaması için omurga sağlar. Tipik olarak, dijital bellekte, yüksek voltaj durumu 1'e ve düşük voltaj 0'a karşılık gelir.

Bir RRAM cihazının durum değiştirmesini sağlamak için, metal oksidin iki ucuna bağlı metal elektrotlara voltaj uygularsınız. Normalde metal oksitler yalıtkandır, yani elektriği iletmezler. Ancak yeterli voltajla, akım birikir ve sonunda malzemenin zayıf noktalarından geçerek diğer taraftaki elektrota giden bir yol oluşturur. Akım geçtikten sonra, bu yol boyunca serbestçe akabilir.

Wong, bu süreci şimşeklere benzetiyor: Bir bulutun içinde yeterli yük biriktiğinde, çabucak düşük dirençli bir yol bulur ve yıldırım düşer. Ancak yolu kaybolan yıldırımın aksine, metal oksitten geçen yol kalır, yani süresiz olarak iletken kalır. Ve malzemeye başka bir voltaj uygulayarak iletken yolu silmek mümkündür. Böylece araştırmacılar bir RRAM'ı iki durum arasında değiştirebilir ve bunları dijital belleği depolamak için kullanabilir.

Yüzyıl ortası araştırmacıları, enerji tasarruflu bilgi işlemin potansiyelini fark etmediler ve birlikte çalıştıkları daha küçük algoritmalarla henüz buna ihtiyaç duymadılar. Araştırmacıların olasılıkları fark etmesi, yeni metal oksitlerin keşfedilmesiyle 2000'lerin başına kadar sürdü.

O sırada IBM'de çalışan Wong, RRAM üzerinde çalışan ödüllü bir meslektaşının ilgili fiziği tam olarak anlamadığını itiraf ettiğini hatırlıyor. "O anlamıyorsa," diye düşündüğünü hatırlıyor Wong, "belki de anlamaya çalışmamalıyım."

Ancak 2004 yılında Samsung Electronics'teki araştırmacılar, RRAM belleği başarıyla entegre edildi geleneksel bir bilgi işlem çipinin üzerine inşa edilmiş, bu da bir bellekte hesaplama çipinin nihayet mümkün olabileceğini düşündürüyor. Wong en azından denemeye karar verdi.

Yapay Zeka için Bellekte İşlem Yongaları

 On yılı aşkın bir süredir, Wong gibi araştırmacılar, RRAM teknolojisini, yüksek güçlü bilgi işlem görevlerini güvenilir bir şekilde yerine getirebileceği bir noktaya getirmek için çalıştılar. 2015 yılı civarında, bilgisayar bilimciler, bu enerji tasarruflu cihazların büyük yapay zeka algoritmaları için muazzam potansiyelini fark etmeye başladı ve bu da yükselmeye başladı. O yıl, Kaliforniya Üniversitesi, Santa Barbara'daki bilim adamları gösterdi RRAM cihazlarının belleği yeni bir şekilde depolamaktan daha fazlasını yapabileceğini. Basit matris çarpma görevleri olan bir sinir ağının yapay nöronlarında gerçekleşen hesaplamaların büyük çoğunluğu da dahil olmak üzere temel bilgi işlem görevlerini kendileri yürütebilirler.

NeuRRAM çipinde, donanıma silikon nöronlar yerleştirilmiştir ve RRAM bellek hücreleri, nöronlar arasındaki bağlantıların gücünü temsil eden değerler olan ağırlıkları depolar. NeuRRAM bellek hücreleri analog olduğundan, depoladıkları ağırlıklar, cihaz düşük dirençten yüksek dirençli duruma geçiş yaparken oluşan tüm direnç durumlarını temsil eder. Bu, dijital RRAM belleğinin elde edebileceğinden daha yüksek enerji verimliliği sağlar çünkü çip, dijital işleme sürümlerinde olduğu gibi birbiri ardına aynı adım adım ilerlemek yerine birçok matris hesaplamasını paralel olarak çalıştırabilir.

Ancak analog işleme, dijital işlemenin hala onlarca yıl gerisinde kaldığından, hala çözülmesi gereken birçok sorun var. Birincisi, fiziksel çipteki kusurlar değişkenlik ve gürültüye neden olabileceğinden, analog RRAM çiplerinin alışılmadık derecede hassas olması gerektiğidir. (Yalnızca iki durumlu geleneksel çipler için, bu kusurlar neredeyse o kadar önemli değildir.) Bu, analog RRAM cihazlarının AI algoritmalarını çalıştırmasını önemli ölçüde zorlaştırır; RRAM cihazının iletken durumu her seferinde tam olarak aynı değildir.

Wong, "Bir aydınlatma yoluna baktığımızda, her seferinde farklı oluyor" dedi. "Bunun sonucu olarak, RRAM belirli bir derecede stokastiklik sergiliyor - onları her programladığınızda biraz farklı." Wong ve meslektaşları, algoritmalar çipte karşılaştıkları gürültüye alışmak üzere eğitilirlerse, RRAM cihazlarının sürekli yapay zeka ağırlıklarını depolayabildiğini ve yine de dijital bilgisayarlar kadar doğru olabileceğini kanıtladı; bu, onların NeuRRAM çipini üretmelerini sağlayan bir ilerlemeydi.

Çözmeleri gereken bir diğer önemli sorun, çeşitli sinir ağlarını desteklemek için gereken esnekliği içeriyordu. Geçmişte çip tasarımcıları, küçük RRAM cihazlarını daha büyük silikon nöronların yanındaki bir alanda sıralamak zorundaydı. RRAM cihazları ve nöronlar, programlanabilirlik olmadan fiziksel olarak bağlanmıştı, bu nedenle hesaplama yalnızca tek bir yönde gerçekleştirilebiliyordu. Sinir ağlarını çift yönlü hesaplama ile desteklemek için fazladan kablolar ve devreler gerekliydi, bu da enerji ve alan ihtiyaçlarını artırıyordu.

So Wong'un ekibi, RRAM bellek cihazlarının ve silikon nöronların birbirine karıştırıldığı yeni bir çip mimarisi tasarladı. Tasarımdaki bu küçük değişiklik, toplam alanı azalttı ve enerji tasarrufu sağladı.

"[Düzenlemenin] gerçekten güzel olduğunu düşündüm" dedi melika payvandİsviçre Federal Teknoloji Enstitüsü Zürih'te bir nöromorfik araştırmacı. “Kesinlikle çığır açan bir çalışma olarak görüyorum.”

Wong'un ekibi, NeuRRAM çipinde yapay zeka algoritmaları tasarlamak, üretmek, test etmek, kalibre etmek ve çalıştırmak için birkaç yıl boyunca ortak çalışanlarla birlikte çalıştı. Bellekte hesaplama çipinde de kullanılabilen yeni ortaya çıkan diğer bellek türlerini kullanmayı düşündüler, ancak analog programlamadaki avantajları nedeniyle ve geleneksel bilgi işlem malzemeleriyle entegre edilmesi nispeten kolay olduğu için RRAM'ın bir avantajı vardı.

Son sonuçları, bu kadar büyük ve karmaşık AI algoritmalarını çalıştırabilen ilk RRAM çipini temsil ediyor - bu, daha önce yalnızca teorik simülasyonlarda mümkün olan bir başarı. "Gerçek silikon söz konusu olduğunda, bu yetenek eksikti" dedi. Anup DasDrexel Üniversitesi'nde bilgisayar bilimcisi olan Dr. "Bu çalışma ilk gösterimdir."

Cauwenberghs, "Dijital AI sistemleri esnek ve hassastır, ancak çok daha az verimlidir" dedi. Cauwenberghs, esnek, hassas ve enerji tasarruflu analog RRAM çiplerinin "ilk kez aradaki farkı kapattığını" söyledi.

Ölçeklendirme

Ekibin tasarımı, analog işlemci görevi görebilen 3 milyon RRAM bellek cihazını sıkıştırırken, NeuRRAM çipini bir tırnak kadar küçük tutar. Ve sinir ağlarını en az dijital bilgisayarlar kadar iyi çalıştırabilirken, çip aynı zamanda (ve ilk kez) hesaplamaları farklı yönlerde gerçekleştiren algoritmaları da çalıştırabilir. Çipleri, RRAM dizisinin satırlarına bir voltaj girebilir ve RRAM yongalarında standart olarak sütunlardan çıktıları okuyabilir, ancak bunu sütunlardan satırlara da geriye doğru yapabilir, böylece çalışan sinir ağlarında kullanılabilir. farklı yönlerde akan verilerle.

RRAM teknolojisinde olduğu gibi, bu uzun zamandır mümkündü ama kimse bunu yapmayı düşünmedi. “Bunu neden daha önce düşünmedik?” diye sordu. "Geriye dönüp baktığımda, bilmiyorum."

Das, "Bu aslında birçok başka fırsatın kapısını açıyor" dedi. Örnek olarak, basit bir sistemin çok boyutlu fizik simülasyonları veya sürücüsüz arabalar için gereken muazzam algoritmaları çalıştırma yeteneğinden bahsetti.

Yine de boyut bir sorundur. En büyük sinir ağları artık yeni çiplerde bulunan milyonları değil, milyarlarca ağırlığı içeriyor. Wong, birden çok NeuRRAM yongasını üst üste istifleyerek ölçeği büyütmeyi planlıyor.

Gelecekteki cihazlarda enerji maliyetlerini düşük tutmak veya daha da azaltmak kadar önemli olacaktır. Oraya ulaşmanın bir yolu beyni kopyalamak gerçek nöronlar arasında kullanılan iletişim sinyalini benimsemek için daha da yakından: elektriksel yükselme. Hücrenin içi ve dışı arasındaki voltaj farkı kritik bir eşiğe ulaştığında, bir nörondan diğerine ateşlenen bir sinyaldir.

"Orada büyük zorluklar var" dedi Tony KenyonUniversity College London'da nanoteknoloji araştırmacısı olan Dr. "Ama yine de bu yönde ilerlemek isteyebiliriz, çünkü … çok seyrek sivri uçlar kullanıyorsanız, daha fazla enerji verimliliğine sahip olma ihtimaliniz var." Kenyon, mevcut NeuRRAM çipinde ani yükselen algoritmaları çalıştırmak için muhtemelen tamamen farklı bir mimari gerektireceğini belirtti.

Şimdilik, ekibin NeuRRAM çipinde büyük yapay zeka algoritmaları çalıştırırken elde ettiği enerji verimliliği, bellek teknolojilerinin yapay zeka ile bilgi işlemin geleceğini temsil edebileceğine dair yeni bir umut yarattı. Belki bir gün, insan beyninin 86 milyar nöronunu ve onları birbirine bağlayan trilyonlarca sinapsı bile gücümüz tükenmeden eşleştirebileceğiz.