Yapay zeka, çok çeşitli uç cihazlarda performansı iyileştirmek ve gücü azaltmaktan güvenlik nedenleriyle veri hareketindeki düzensizlikleri tespit etmeye kadar bir dizi yeni uygulamada kullanılıyor.
Çoğu insan kullanmaya aşina olsa da makine öğrenme ve derin öğrenme Kedileri ve köpekleri ayırt etmek için ortaya çıkan uygulamalar, bu yeteneğin nasıl farklı şekilde kullanılabileceğini gösteriyor. Örneğin veri önceliklendirme ve bölümleme, bir çipin veya sistemin gücünü ve performansını insan müdahalesi olmadan optimize etmek için kullanılabilir. Ve insanların yapamayacağı hataları veya kusurları yakalamak için tasarım ve üretim akışları boyunca çeşitli AI aromaları kullanılabilir. Ancak tüm bu yeni bileşenler ve işlevler, olasılıkların sonlu yanıtların yerini alması ve değişkenlerin sayısı arttıkça, daha olgun düğümlerde bile çip tasarlamayı daha karmaşık hale getiriyor.
Ürün yönetimi kıdemli direktörü Frank Ferro, “Yapay zekayı uç noktalara taşıdıkça, uç veri merkezi gibi görünmeye başlıyor” dedi. Rambus. “Aynı işleme işlevinin çoğunu yapan temel bant var. Benzer şekilde, bellek gereksinimlerinde, bant genişliğinin tükendiğini ve ağın ucunda HBM'yi arayan birçok 5G müşterisini görüyoruz. Ancak buluta gitmek yerine ağda daha fazla yapılandırılabilirlik vardır ve iş yüklerini yönetebilirsiniz. Bu iş yüklerini dengelemek çok önemli.”
Yine de, AI çip tasarımcılarının öğrendiği gibi, AI dünyasında hiçbir şey basit değildir. Stratejik pazarlama müdürü Ron Lowman, "Bir yapay zeka tasarımında cevaplanması gereken birçok soru var" dedi. Synopsus. “Hangi algoritmayı işlemeye çalışıyorsunuz? Güç bütçeniz nedir? Hangi doğruluğu elde etmeye çalışıyorsunuz? Bir görüntü tanıma uygulamasında 32 bit kayan nokta işlemcisine ihtiyacınız olmayabilir. Daha düşük maliyetli bir 16-bit görüntü yongası gayet iyi iş görebilir. Tüm ihtiyacınız olan %92 doğruluksa, düşük maliyetli bir çip genel bütçenizi azaltabilir. Neyi başarmak istediğinizi biliyorsanız, IP yaklaşımını benimsemenin birçok avantajı olacaktır. Doğru AI işlemcilerini, doğru bellek türünü (SRAM veya DDR) G/Ç'yi ve güvenliği seçebilirsiniz. Doğru IP'yi seçmek önemlidir, ancak modelleme ve kıyaslama yapmak da geliştiricilerin yapay zeka çözümlerini optimize etmesine ve hataları azaltmasına yardımcı olacaktır."
Herhangi bir gelişmiş çip için tasarım zorlukları çok hızlı bir şekilde toplanabilir ve daha fazla değişken daha iyi modeller, daha fazla işlem adımı ve daha fazla zaman gerektirir. Tasarım metodolojisi başkanı Roland Jancke, “Çipin ne performans göstereceğine dair çok karmaşık bir fikirle başlıyorsunuz ve ardından çipin farklı parçaları için farklı gereksinimlerin olup olmadığını görüyorsunuz” dedi. Fraunhofer IIS' Adaptif Sistemler Bölümü Mühendisliği. “Geçmişte, sadece bir şey tasarlar, geliştirir, bantlar ve işe yarayıp yaramadığını görürdünüz. Bu artık mümkün değil. Gerçekten entegre bir sürece ihtiyacınız var. En başından itibaren olası arıza modlarının neler olduğunu düşünmeniz gerekir. Hatta en başta, tipik olarak geçmişte yapılmayan, entegre etmek istediğiniz işlevselliğe sahip çok kaba modellerle başladığınız simülasyon için belki sonlu eleman yöntemleriyle başlamanız gerekir. Yani bir MATLAB modeliniz varsa, bu çipin farklı parçaları arasındaki fiziksel etkileşimi yansıtmaz. Konseptinizin yeterince işlevsel olup olmayacağını görmek için geliştirme sürecinin başlarında farklı modelleri (fiziksel modeller, fonksiyonel modeller) entegre etmeniz gerekiyor.”
Bu, özellikle bu parçalar belirli veri türleri ve kullanım durumları için özelleştirildiğinde veya yarı özelleştirilmiş olduğunda, daha hareketli parçalarla daha da zorlaşır. Ancak bunun olumlu yanı, daha iyi algoritmaların ve hesaplama öğelerinin, çok daha küçük bir ayak izi içinde ve geçmiş uygulamalardan çok daha az güçle daha fazla verinin işlenmesine izin vermesidir. Bu da, işlemenin veri kaynaklarına çok daha yakın bir yerde gerçekleşmesini, hangi verilerin önemli olduğunu, bu verilerin belirli bir zamanda nerede işlenmesi gerektiğini ve hangi verilerin atılabileceğini belirlemeye olanak sağlar.
bir devrilme noktası
Bu değişikliklerin çoğu kendi başlarına artımlı ve evrimseldir, ancak toplu olarak, heterojen mimarilerin bir spektrumunun ortaya çıkmaya başladığı uçta çıkarım ve eğitim sağlar. Çeşitli sinir ağlarından yararlanarak, farklı uygulamalar için değişen doğruluk ve hassasiyet seviyeleriyle, hedeflenen amaçlar için işleme hızlandırılabilir.
Şekil 1: Karmaşık AI süreci, AI Yığınlarına bölünebilir. Kaynak: McKinsey & Co.
Karmaşık algoritmik ve hesaplamalar gerçekleştiren herhangi bir AI çipi için birkaç temel gereksinim vardır. İlk olarak, gecikmeyi azaltmak için birden çok hesaplama öğesi ve geniş veri yolları kullanarak verileri paralel olarak işleyebilmeleri gerekir. Çoğu durumda, yüksek bant genişlikli belleğin yanı sıra, hesaplama öğelerine yakın bazı yerelleştirilmiş bellekleri de içerir. İkinci olarak, bu cihazların genellikle öngörülen iş yüklerine göre boyutlandırılmış yüksek verimli mimariler gerektiren boyut, maliyet ve güç bütçeleri için optimize edilmesi gerekir. Bu da, belirli kullanım durumu için dengelenmesi gereken bir dizi ödünleşim gerektirir. Üçüncüsü, bu mimariler genellikle karmaşık veri akışlarını ve CPU'ları, GPU'ları, FPGA'ları, eFPGA'ları, DSP'leri, NPU'ları, TPU'ları ve IPU'ları içerebilen güç yönetimi şemalarını yönetmek için bir işlemciler karışımını içerir.
Yazılım Ürün Pazarlama Müdürü Danny Watson, "Tasarımda geliştiricilerin eğitim, çıkarım, düşük güç, bağlantı ve güvenlik gereksinimlerini göz önünde bulundurması gerekiyor" dedi. Infineon'un IoT, Kablosuz ve Bilgi İşlem İş Birimi, “Bu yaklaşım, günümüzün IoT ürünlerinin güç bütçesini karşılarken yerel hızlı kararlara ihtiyaç duyan yeni kullanım senaryolarına olanak tanıyor.” Watson, kilit noktanın, uygulamaların bu verilerden yararlanabilmesi için doğru verileri toplamak olduğunu ve teknoloji iyileştirmelerinden yararlanmalarına olanak tanıdığını belirtti.
AI her yerde.
Çip şirketleri için bu çok büyük bir anlaşma. son haberlere göre rapor Precedence Research'e göre, yapay zeka pazarı bir bütün olarak 87'de 2021 milyar dolardan 1.6'a kadar 2030 trilyon doların üzerine çıkacak. Buna veri merkezlerinin yanı sıra uç cihazlar da dahil, ancak büyüme hızı önemli. Aslında, AI bugün o kadar sıcak bir alandır ki, neredeyse her büyük teknoloji şirketi AI çiplerine yatırım yapıyor veya yapıyor. Bunlar Apple, AMD, Arm, Baidu, Google, Graphcore, Huawei, IBM, Intel, Meta, NVIDIA, Qualcomm, Samsung ve TSMC'dir. Liste uzayıp gidiyor.
Bu pazar beş yıl önce neredeyse yoktu ve on yıl önce çoğu şirket bulut bilişim ve yüksek hızlı ağ geçitleri açısından düşünüyordu. Ancak yeni cihazlar daha fazla sensörle (arabalar, akıllı telefonlar ve hatta içlerinde belirli bir zeka düzeyine sahip cihazlar) ortaya çıktıkça, o kadar çok veri üretiliyor ki, girdi, işleme, hareket etrafında mimarilerin tasarlanmasını gerektiriyor. , ve bu verilerin depolanması. Bu birden fazla düzeyde olabilir.
Kıdemli teknik pazarlama müdürü Paul Graykowski, “Yapay zeka uygulamalarında çeşitli teknikler uygulanıyor” dedi. arter IP'si. “Yakın zamanda bir müşteri, verileri işlemek için her biri kendi özel hesaplama ve yapay zeka motoruna sahip dört kanal sensör verisini işleyebilen karmaşık bir çok kanallı ADAS SoC geliştirdi. Benzer şekilde, yeni AI çip mimarileri, yeni uygulamaların gereksinimlerini karşılamak için değişmeye devam edecek.”
büyükten küçüğe
Sonuç alma süresi genellikle mesafeyle orantılıdır ve daha kısa mesafeler daha iyi performans ve daha düşük güç anlamına gelir. Bu nedenle, devasa veri kümelerinin hala hiper ölçekli veri merkezleri tarafından sıkıştırılması gerekirken, çip endüstrisinin, makine öğrenimi, derin öğrenme veya başka bir AI varyantı olsun, daha fazla işlemeyi aşağı akış yönünde taşımak için ortak bir çabası var.
Cerebras, hızın kritik olduğu ve sonuçların doğruluğunun yakından takip edildiği derin öğrenme dünyasında poster çocuğudur. Cerebras ürün yönetimi direktörü Natalia Vassilieva, GlaxoSmithKline'ın Epigenomik Dil Modellerinde gofret ölçekli cihazını kullanarak ilaç keşif verimliliğini artırdığını bildirdi. Bir senaryoda, GlaxoSmithKline, geniş bir bileşik kitaplığı için derin sinir ağı tabanlı sanal tarama süresini bir GPU kümesinde çalışan 183 günden Cerebras cihazında 3.5 güne indirmeyi başardı. Bu "yonga" 2.6 trilyondan fazla transistöre, 850,000 AI için optimize edilmiş çekirdeğe, 40 GB çip üzerinde belleğe ve saniyede 20 PB bellek bant genişliğine (bir petabayt 1,024 terabayta eşittir) sahiptir. Ayrıca 23 kW güç tüketir ve dahili kapalı döngü, doğrudan çipe sıvı soğutma kullanır.
Graphcore, bir istihbarat işleme birimi (IPU) teknolojisi sunarak farklı bir yaklaşım benimsedi. IPU, çoklu komut, çoklu veri (MIMD) paralelliği ve yerel dağıtılmış bellek kullanarak, yalnızca hava soğutması gerekirken 22.4 PFLOPS (saniyede 1 petaflop, saniyede 1000 teraflop'a eşittir) sağlayabilir. Ek olarak, IPU, tek bir hassasiyette 31.1 TFLOPS'a kadar teorik aritmetik verime sahiptir. A100'ün 624 TFLOPS'undan çok daha hızlıdır. Twitter tarafından yapılan bir testte IPU, GPU'dan daha iyi performans gösterdi.
Şekil 2: Çoklu talimat, çoklu veri (MIMD) paralelliği ve yerel dağıtılmış bellekten yararlanan IPU teknolojisi, GPU'dan daha iyi performans gösterir. Kaynak: Graphcore
AI da küçülebilir. Nesnelerin yapay zekası (AIoT)/gömülü AI olarak da bilinen AI özellikli akıllı şeyler gelişiyor. Göre Değerli Raporlar, uç AI donanımı 7'de 2020 milyar dolardan 39'da 2030 milyar dolara çıkacak. AI, uç bilgi işlem, ağ uç noktaları ve mobil cihazlara zeka ekledi. IoT ile birlikte, giderek daha fazla uygulama gömülü AI kullanıyor. Sayıları arasında giyilebilir cihazlar, akıllı evler ve bazıları ses tanıma kullananlar da dahil olmak üzere akıllı uzaktan kumandalar var. AR/VR oyunları, akıllı otomotiv panelleri, nesne ve hareket algılama, evde sağlık hizmetleri, sayaç okuma, akıllı fabrikalar, akıllı şehirler, endüstriyel otomasyon ve kontrol ve enerji yönetimi dahil akıllı binalar da gömülü yapay zekaya güveniyor. Liste uzayıp gidiyor, sadece kişinin hayal gücüyle sınırlı.
Tensilica AI ürünleri için ürün pazarlama direktörü Suhas Mitra, "AI, verileri yerel olarak daha hızlı işleme yeteneği ile IoT bilgi işlemi daha verimli hale getirecek" dedi. Ritim. “Bu, daha iyi yanıt süresi ve daha küçük gecikmeler sağlamayı içerir, çünkü üretilen veriler anında uç cihazda da işlenir. AI uç işlemeyi yürütmek daha güvenilir olacaktır, çünkü canlı bir kablosuz veya kablolu bağlantı yoluyla sürekli olarak buluta büyük miktarda veri göndermek mümkün olmayabilir. Ayrıca, kişisel ve hassas bilgiler içerebilecek çok büyük miktarda veriyi bulutta depolama ve işleme baskısını da ortadan kaldırır. Kullanıcı bilgilerinin buluta gönderilmesiyle ilgili gizlilik endişeleri, rızadan bağımsız olarak verilerin yukarı akışını imkansız hale getirebilir. Daha fazla uç bilgi işlem yapmak pil ömrünü uzatır, çünkü yapay zeka yaklaşımları kullanılırken bazı hesaplamalar uç platformunda daha az döngü gerektirir. Sonuç olarak, daha az enerji tüketilir ve ısı dağılımı daha düşüktür.”
Çıkarım yapılmadan önce tüm AI çiplerinin eğitilmesi gerekir. Veri kümeleri genellikle eğitim için büyük bir veri merkezi gerektirecek kadar büyük olsa da, kişisel bilgisayar veya geliştirme sistemi düzeyinde daha fazla eğitim yapılabilir. Geliştiriciler, optimal bir çıkarım algoritmasının elde edilmesini sağlamak için özenli bir süreçten geçecektir. Birçok AI çip üreticisi, müşterileri için bir eğitim ortakları listesi sağlar. Danışmanların yardımıyla bile, geliştiricilerin danışmanlık süresi için ödeme yapması ve eğitim çabalarından geçmesi gerekiyor.
Bunu yapmanın daha kolay bir yolu, Flex Logix'in EasyVision platformu gibi önceden eğitilmiş modellerle uygulamaktır. Çıkarım pazarlaması kıdemli direktörü Sam Fuller, "Modüller için önceden eğitilmiş X1M çipi ile geliştiriciler eğitim sürecini atlayabilir ve doğrudan ürün geliştirme ve teste gidebilir" dedi. Esnek Logix. “Önceden eğitilmiş çözümler sahada test edilmiş ve kanıtlanmıştır, bu da geliştiricilerin deneme-yanılma yaklaşımından çok daha verimlidir. Genellikle, özel olarak önceden eğitilmiş çip, normal CPU'lardan çok daha verimlidir."
Daha da küçük düşünmek
TinyML Foundation tarafından yerleşik cihaz üstü ML ve mW aralığında çalışan veri analizini desteklemek için kurulan küçük makine öğrenimi sayesinde, yapay zekayı daha küçük cihazlara dahil etme olanakları da artıyor. Bu cihazların birçoğu görüntü, ses, atalet ölçüm birimi (IMU), biyomedikalde ML gerçekleştirebilir. Ek olarak, ML modellerini küçük ML cihazlarına dağıtmayı basitleştirmek için ScaleDown adlı bir Açık Kaynak Sinir Ağı Optimizasyonu çerçevesi sağlar.
TinyML, Arduino kartları da dahil olmak üzere herhangi bir programlanabilir AI çipinde çalışabilir. Arduino'nun misyonu, hobilere, öğrencilere ve eğitimcilere elektronik cihazlar ve yazılımlar sağlamak olmuştur. Yıllar içinde gelişti ve Arduino tabanlı çözümler bugün birçok endüstriyel segmentte kullanılmaktadır. Ancak TinyML ve Arduino donanımını birleştirmek, potansiyel olarak çok düşük maliyetli gömülü AI çözümleri sağlayabilir. Tipik donanım maliyeti 100 dolardan azdır.
Bu küçük cihazlara yapay zeka tasarlamanın zorluklarından biri de güç bütçelemesidir. Synaptics, düşük güç bütçeli AI ve sensör çipleri geliştirme zorluğunu üstlendi. Synaptics'te düşük güçlü AI ürün hattına liderlik eden kıdemli ürün müdürü Ananda Roy'a göre, şirketin Katana AI SoC'si, insanları algılama/sayma ve düşme algılama yeteneğine sahiptir ve 30 MHz veya daha yüksek güçte 24 mW ile aktif AI görüş çıkarımını çalıştırabilir. 90 MHz'de. Derin Uyku modu 100 µW'den daha az tüketir. Genel olarak, diğer AI çiplerinden çok daha verimlidir. Verimli güç yönetimi elde etmek için, nöral işlem birimi (NPU), kullanılmadığında ultra düşük güç modlarına ve ölçeklenebilir çalışma voltajına ve işlemci hızına ayarlanabilen çoklu bellek bankalarına sahip bir bellek mimarisine dayanır. Arabanızın daha hızlı gitmesine ihtiyacınız olduğunda gaz.
AI uygulamaları için bir sensör çipi olan FlexSense, endüktif ve kapasitif sensör girişlerinin verimli bir şekilde dönüştürülmesi için son derece optimize edilmiş bir analog donanım ön ucu ile düşük güçlü bir RISC CPU'yu birleştirerek tasarlanmıştır. Yerleşik Hall etkisi ve sıcaklık sensörleri ile birlikte, dokunma, kuvvet, yakınlık ve sıcaklık gibi girdileri algılamak için dört sensörden oluşur, hepsi küçük bir pakette (1.62 x 1.62 mm) yalnızca 240 µW veya 10 µW in uyku modu. Geleneksel tasarımlar dört IC gerektirir.
Şekil 3: Düşük güç sensörü, küçük bir pakette (1.62 x 1.62 mm) gelir. Dört IC'nin yerini alır. Kaynak: Synaptics
Güvenlik sorunları ve iyileştirmeler
Güvenlik söz konusu olduğunda, AI hem potansiyel bir güvenlik açığı hem de potansiyel bir çözümdür. AI çipleri belirli kullanım durumları için optimize edildiğinden ve algoritmalar güncellendiğinden, endüstrinin öğrenmeleri azalır ve saldırı yüzeyi genişler. Ancak yapay zeka, veri trafiğindeki olağandışı kalıpları belirlemek, uyarılar göndermek veya daha fazla analiz yapılıncaya kadar etkilenen devreleri otonom olarak kapatmak için de kullanılabilir.
NXP ürün müdürü Srikanth Jagannathan, pille çalışan cihazlar için doğru işlevler, çip güvenliği ve düşük güç karışımına sahip olmanın önemine dikkat çekti. i.MX AI çipi, Arm'ın düşük güçlü Cortex-M33'ünü Arm TrustZone ve NXP'nin çip üzerinde EdgeLock, gömülü ML ve çoklu I/O'larla birleştirir. Güç tüketimi yaklaşık 2.5 watt'tır. Yine de 1 TOPS (512 GHz'de 1 paralel çoklu-birikimli operasyon) performans sunabilmektedir.
Şekil 4: i.MX AI çipi, Arm'ın düşük güçlü Cortex-M33'ünü Arm TrustZone ve NXP'nin çip üzerinde EdgeLock, gömülü ML ve çoklu I/O'larla birleştirir. Kaynak: NXP
Kathy Tufto, kıdemli ürün müdürü Siemens EDA'lar Embedded Software Division, bir yazılım güven zincirinin kurulması gerektiğine dikkat çekti ancak bunun donanımdan başladığını kaydetti. Amaç, kimliği doğrulanmamış ve doğrulanmamış herhangi bir kodun yürütülmesini önlemektir. Belirlediği çözümler arasında:
- Duran Veriler – Güvenin güvenli önyükleme kökü ve Yazılım güven zinciri erişim denetimi.
- Data at Motion – Güvenlik protokolleri ve Kripto hızlandırma.
- Kullanımdaki Veriler – Bellek Yönetim Birimi (MMU) aracılığıyla donanım tarafından zorunlu kılınan ayırma.
Tufto, "Aygıt üreticileri, güvenlik sorunlarının yaygın olarak cihazlar dağıtıldıktan sonra ortaya çıktığını ve bu da cihazlarını dağıtıldıktan sonra güncellenebilecekleri şekilde tasarlamaları gerektiği anlamına geldiğini unutmamalıdır." Dedi. "FDA dahil düzenleyici kurumlar, tıbbi cihazlar için güvenlik gereksinimlerini karşılamak için hem yayın öncesi hem de yayın sonrası CVE'leri yönetme stratejisinde ısrar ediyor. Ortak güvenlik açıkları ve riskler (CVE) izleme, cihazdaki modüllere göre yeni CVE'lerin değerlendirildiği ve cihaz üreticisinin yeni CVE'ler bulunduğunda uygun eylemi belirlemesine olanak tanıyan bir süreçtir. Bir üretici bu faaliyetleri kendisi gerçekleştirebilirken, Sokol Flex OS, Sokol Omni OS ve Nucleus RTOS gibi güvenlik açığı izleme ve yamaları içeren ticari bir yazılım çözümü kullanırsanız bu daha basit ve kolaydır."
Sonuç
AI çipleri gelişmeye ve ölçeklenmeye devam edecek ve AI hem bu çipler içinde hem de bu çipler tarafından çeşitli şekillerde kullanılacaktır. Bu, bu yongaları tasarlamayı zorlaştıracak ve hem işlevsel hem de güvenlik açısından ömürleri boyunca beklendiği gibi çalışmasını sağlamayı zorlaştıracaktır. Hangi faydaların risklerden daha ağır bastığını görmek zaman alacaktır.
Geliştiriciler, insan beynini taklit etmek için AI geliştirmeye devam ederken, aslında kendi başına düşünebilen bir cihazdan çok uzaktalar. Yine de, bu sistemleri belirli kullanım durumları ve uygulamalar için optimize etmenin birçok yolu vardır ve bunların hepsi insan müdahalesi gerektirmez. Zaman geçtikçe, bu muhtemelen daha fazla yerde daha fazla şey yapmak için daha fazla yapay zeka anlamına gelecek ve güç, performans ve güvenliği içeren, hem planlaması, hem tanımlaması hem de nihayetinde düzeltmesi zor olan tasarım zorluklarını artıracaktır.
