Yapay zeka alanı, inovasyon hızının artmasıyla birlikte hızla ilerliyor. Yazılım endüstrisi, üretimde yapay zekayı dağıtmada başarılı olsa da, otomotiv, endüstriyel ve akıllı perakende dahil olmak üzere donanım sektörü, yapay zeka ürünleştirme açısından hala emekleme aşamasında. Yapay zeka algoritması kavram kanıtlarının (PoC) gerçek donanım dağıtımları haline gelmesini engelleyen büyük boşluklar hala var. Bu dezavantajlar büyük ölçüde küçük veri sorunları, "mükemmel olmayan" girdiler ve sürekli değişen "son teknoloji" modellerden kaynaklanmaktadır. Yazılım geliştiriciler ve yapay zeka bilim adamları bu zorlukların üstesinden nasıl gelebilir? Cevap, uyarlanabilir donanımda yatıyor.

Küçük veriler

Google ve Facebook gibi internet devleri, her gün büyük miktarda veriyi rutin olarak toplar ve analiz eder. Daha sonra bu verileri kullanarak, performansın kabul edilebilir olduğu yapay zeka modelleri oluştururlar. Bu gibi durumlarda, modelleri eğitmek için kullanılan donanım, modelleri çalıştırmak için kullanılan donanımdan çok farklıdır.

Öte yandan, donanım endüstrisinde, büyük verilerin kullanılabilirliği çok daha sınırlıdır ve bu da daha az olgun yapay zeka modelleriyle sonuçlanır. Bu nedenle, daha fazla veri toplamak ve doğruluğu sürekli olarak iyileştirmek için aynı konuşlandırılmış donanım üzerinde eğitim ve çıkarımın gerçekleştirildiği "çevrimiçi modeller" çalıştırmak için büyük bir baskı var.

Bunu ele almak için, uyarlanabilir bilgi işlem - sahada programlanabilir kapı dizileri (FPGA) ve uçta kanıtlanmış uyarlanabilir çip üzerinde sistem (SoC) cihazları gibi - yeni yakalanan verilere kendilerini sürekli güncellemek için hem çıkarım hem de eğitim çalıştırabilir. . Geleneksel AI eğitimi, bulut veya büyük şirket içi veri merkezleri gerektirir ve gerçekleştirilmesi günler ve haftalar sürer. Öte yandan gerçek veriler çoğunlukla uçta oluşturulur. Aynı uç cihazda hem AI çıkarımını hem de eğitimi çalıştırmak yalnızca toplam sahip olma maliyetini (TCO) iyileştirmekle kalmaz, aynı zamanda gecikme süresini ve güvenlik ağartmalarını da azaltır.

'Mükemmel olmayan' girdi

Örnek olarak X-ışını görüntülerini kullanarak COVID-19 tespitinin daha iyi doğruluğu gibi bir şey göstermek için bir AI modeli PoC yayınlamak daha kolay hale gelse de, bu PoC'ler neredeyse her zaman iyi temizlenmiş giriş resimlerine dayanır. Gerçek hayatta, tıbbi cihazlardan, robotlardan ve hareketli arabalardan gelen kamera ve sensör girdileri, karanlık görüntüler ve çeşitli açılı nesneler gibi rastgele bozulmalara sahip olacaktır. Bu girdilerin, yapay zeka modellerine beslenmeden önce temizlemek ve yeniden biçimlendirmek için karmaşık ön işlemlerle işlenmesi gerekir. Yapay zeka modeli çıktılarını anlamak ve doğru karar vermeyi hesaplamak için son işlem çok önemlidir.

Aslında, bazı yongalar AI çıkarım hızlandırma konusunda çok iyi olabilir, ancak neredeyse her zaman tam bir uygulamanın yalnızca bir bölümünü hızlandırırlar. Akıllı perakendeciliği bir örnek olarak kullanarak, ön işlem, çok akışlı video kod çözme ve ardından geleneksel bilgisayar görme algoritmaları videoları yeniden boyutlandırmak, yeniden şekillendirmek ve formatlamak için dönüştürün. Post-processing ayrıca nesne izleme ve veritabanı aramasını da içerir. Son müşteriler, yapay zeka çıkarımının çalıştığı hıza daha az önem veriyor, ancak tüm uygulama ardışık düzeninin video akışı performansını ve / veya gerçek zamanlı yanıt verebilirliğini karşılayıp karşılayamayacaklarını düşünüyorlar. FPGA'lar ve uyarlanabilir SoC'ler, etki alanına özgü mimarileri (DSA'lar) kullanarak bu ön ve son işleme algoritmalarını hızlandırmak için kanıtlanmış bir geçmiş performansa sahiptir. Ayrıca, bir AI çıkarım DSA'sı eklemek, tüm sistemin ürün gereksinimlerini uçtan uca karşılayacak şekilde optimize edilmesini sağlayacaktır.

Yukarıda: DSA'nın yapay zekayı ve yapay zekâ olmayanları hızlandırması gerekiyor

Resim Kredisi: Ben Dickson

Sürekli değişen 'son teknoloji' modeller

Yapay zeka araştırma topluluğu, dünyanın dört bir yanındaki en iyi araştırmacılar tarafından günlük olarak icat edilen yeni AI modelleriyle tartışmasız en aktif olanıdır. Bu modeller doğruluğu artırır, hesaplama gereksinimlerini azaltır ve yeni yapay zeka uygulama türlerini ele alır. Bu hızlı yenilik, modern algoritmaları verimli bir şekilde desteklemek için daha yeni mimari talep ederek mevcut yarı iletken donanım cihazlarına baskı yapmaya devam ediyor. MLPerf gibi standart karşılaştırmalar, en son teknolojiye sahip CPU'ların, GPU'ların ve AI ASIC yongalarının, gerçek hayattaki AI iş yüklerini çalıştırırken satıcının reklamı yaptığı performansın yüzde 30'unun oldukça altına düştüğünü kanıtlıyor. Bu, yeniliğe ayak uydurmak için yeni DSA ihtiyacını sürekli olarak zorlamaktadır.

Yeni DSA'lara olan ihtiyacı artıran birkaç yeni trend var. Derinlemesine evrişim verimli olması için büyük bellek bant genişliği ve özelleştirilmiş dahili bellek önbelleği gerektiren yeni ortaya çıkan bir katmandır. Tipik AI yongaları ve GPU'lar, sabit L1 / L2 / L3 önbellek mimarisine ve çok düşük verimlilikle sonuçlanan sınırlı dahili bellek bant genişliğine sahiptir.

Araştırmacılar sürekli yeni icat ediyor özel katmanlar bugünün çipleri yerel olarak desteklemiyor. Bu nedenle, ana CPU'larda hızlandırma olmadan çalıştırılmaları gerekir, bu da genellikle performans darboğazına neden olur.

Seyrek Sinir Ağı ağ uçlarını kırparak, ince taneli matris değerlerini evrişimde kaldırarak, vb. ağların yoğun bir şekilde, bazen yüzde 99'a varan oranlarda azaltıldığı bir başka ümit verici optimizasyondur. Ancak bunu donanımda verimli bir şekilde çalıştırmak için özel seyrek mimariye ve bir kodlayıcıya ihtiyacınız vardır ve çoğu çipin sahip olmadığı bu işlemler için kod çözücü.

İkili / Üçlü tüm matematik işlemlerini bit işleme işlemlerine dönüştüren aşırı optimizasyonlardır. Çoğu AI yongası ve GPU yalnızca 8 bit, 16 bit veya kayan nokta hesaplama birimlerine sahiptir, bu nedenle aşırı düşük hassasiyetler yaparak herhangi bir performans veya güç verimliliği elde edemezsiniz. FPGA'lar ve uyarlanabilir SoC'ler, bir geliştiricinin mükemmel DSA'yı geliştirebilmesi ve mevcut cihazı ürünün çok iş yükü için yeniden programlayabilmesi açısından mükemmeldir. Kanıt olarak, en son MLPerf, Xilinx'in, Mipsoloji, ResNet-100 standardı karşılaştırmasını kullanarak donanım veri sayfası performansının yüzde 50'ünü elde etti.

Yukarıda: FPGA için MLPerf karşılaştırması

Resim Kredisi: Ben Dickson

Donanım uzmanlığı yok mu? Sorun değil

Tarihsel olarak, FPGA'lar ve uyarlanabilir SoC'ler için en büyük zorluk, DSA'ları uygulamak ve dağıtmak için donanım uzmanlığına duyulan ihtiyaç olmuştur. İyi haber şu ki, C ++, Python ve TensorFlow ve PyTorch gibi popüler AI çerçevelerini destekleyen Vitis birleşik yazılım platformu gibi araçlar, yazılım ve yapay zeka geliştiricileri için boşluğu kapatıyor.

Yazılım soyutlama araçlarında daha fazla geliştirmeye ek olarak, Vitis donanım hızlandırmalı kitaplıklar gibi açık kaynaklı kitaplıklar, geliştirici topluluğu içinde benimsenmeyi önemli ölçüde artırıyor. En son tasarım yarışmasında, Xilinx 1,000'den fazla geliştiricinin ilgisini çekmeyi başardı ve el hareketi kontrollü bir drone'dan çok sayıda yenilikçi proje yayınladı. takviye öğrenme ikili bir sinir ağı kullanarak. Daha da önemlisi, gönderilen projelerin çoğu, FPGA'larla daha önce hiç deneyimi olmayan yazılım ve yapay zeka geliştiricileri tarafından yapıldı. Bu, FPGA endüstrisinin yazılım ve yapay zeka geliştiricilerinin gerçek dünyadaki yapay zeka ürünleştirme zorluklarını çözmesini sağlamak için doğru adımları attığının kanıtıdır.

Yukarıda: Şeylerin Uyarlanabilir Zekası

Resim Kredisi: Ben Dickson

Yakın zamana kadar, ortalama bir yazılım geliştiricisi ve yapay zeka bilimcisi için donanım uyarlanabilirliğinin gücünü ortaya çıkarmak mümkün değildi. Önceden belirli bir donanım uzmanlığı gerekliydi ancak yeni açık kaynaklı araçlar sayesinde, yazılım geliştiriciler artık uyarlanabilir donanımlarla güçlendiriliyor. Bu yeni programlama kolaylığı ile FPGA'lar ve uyarlanabilir SoC'ler yüz binlerce yazılım geliştiricisi ve yapay zeka bilim insanı için daha erişilebilir olmaya devam edecek ve bu cihazları yeni nesil uygulamalar için tercih edilen donanım çözümü haline getirecek. Gerçekten de, DSA'lar, yeni nesil uygulamaları için donanım uyarlanabilirliğinden yararlanan yazılım geliştiricileri ve yapay zeka bilim adamları ile yapay zeka çıkarımının geleceğini temsil edecek.

Bu gönderi, Xilinx'teki yazılım ve ekosistem AI Ürünleri Direktörü Nick Ni tarafından yazılmıştır. TechTalks. Ni, Toronto Üniversitesi'nden Bilgisayar Mühendisliği alanında yüksek lisans derecesine sahiptir ve 10'dan fazla patent ve yayına sahiptir.

Bu hikaye başlangıçta yayınlandı bdtechtalks.com. Telif Hakkı 2021