son zamanlarda TechSpot makalesi Apple'ın muhtemelen iOS 18 ve A17 Pro ile bir tür üretken yapay zeka yayınlamaya doğru temkinli bir şekilde ilerlediğini öne sürüyor. Bu sadece benim gibi Apple kullanıcıları için değil, aynı zamanda üretken yapay zeka için gerçek bir mobil fırsatın daha geniş çapta doğrulanması açısından da ilginç. Aslında bu pek çok nedenden dolayı kesin gibi görünmemişti. Performans ile bellek talebi arasında bir denge bulmak, bir milyar veya daha fazla parametreyi temel alan modeller için göz korkutucu görünüyor. Güç tüketimi sorun yaratır mı? Ayrıca yasal sorunlar ve halüsinasyon sorunları da var ve bunlar belki dikkatli bir şekilde sınırlı kullanım modelleriyle çözülebilir. Görünürdeki zorluklara rağmen, ürün piyasaya sürme konusunda çoğu kişiden daha düşünceli olma eğiliminde olan bir şirketin başarıya giden olası bir yolu görmesini cesaret verici buluyorum. Eğer onlar yapabiliyorsa diğerleri de yapabilir; bu da son blog Expedera'dan benim için aydınlatıcı.
Üretken görüntü oluşturmaya ilişkin kısa bir özet
Üretken görüntüleme yapay zekası, fırsatları henüz yeni keşfedilmeye başlanan bir alandır. Zoom/Google Meet görüşmeleri için arka planlarımızı değiştirmeye zaten alışkınız ancak üretken yapay zeka bunu çok daha ileri götürüyor. Artık kendimizi hayali ortamlarda, farklı özelliklere sahip farklı kostümlerle yeniden hayal edebiliyoruz; imaja önem veren tüketiciler için devasa bir pazar. Daha pratik olarak, bir mutfağı veya banyoyu yeniden şekillendirirken seçenekleri satın almadan veya keşfetmeden önce kıyafetleri sanal olarak deneyebilmeliyiz. Bu teknoloji bulutta zaten mevcuttur (örneğin Bing Image Creator), ancak bulut tabanlı hizmetlerin tüm dezavantajlarına, özellikle de gizlilik ve maliyete sahiptir. Çoğu tüketici bu tür hizmetlerle mobil cihazlar aracılığıyla etkileşime geçmek ister; daha iyi bir çözüm, bu platformlara yerleştirilmiş yerel yapay zeka olacaktır. Açık kaynaklı Stabil Difüzyon modeli aracılığıyla Üretken Yapay Zeka, donanım platformlarının bu ihtiyacı karşılaması ve daha genel olarak benzer çekirdek teknolojilere dayanan LLM modelleri için iyi bir temsilidir.
Yerleşik bellek ve performans uçta dengelenebilir mi?
Öncelikle Kararlı Difüzyon boru hattını anlamamız gerekiyor. Bu, bir istemi işlemek için bir metin kodlayıcıyla başlar (“Yeşil jöleli bir denizin üzerinde baş aşağı yüzen bir korsan gemisi görmek istiyorum”). Bu adımı, eğitilmiş parametrelerden son bir görüntü için bilgi oluşturan çoklu yinelemeler aracılığıyla algoritmanın yayılma kısmını idare eden, gürültüyü gideren bir sinir ağı takip eder. Bunu, bilgi istemi gereklilikleri ile istemle sentezlenmiş bir eşleşme yaratma eğitimi arasındaki eşleştirmeyi, geleneksel görüntü tanımanın bir tür tersi olarak düşünüyorum. Son olarak bir kod çözücü aşaması, önceki adımda oluşturulan verilerden görüntüyü işler. Bu aşamaların her biri bir transformatör modelidir.
Expedera blog yazarı Pat Donnelly (Çözüm Mimarı), algoritma boyunca gerekli olan parametrelerin, işlemlerin ve veri hareketlerinin ayrıntılı bir dökümünü veriyor; bunu burada tekrarlamaya çalışmayacağım. Benim için göze çarpan şey, çok sayıda veri hareketiydi. Ancak optimum verim yerine müşterilerin gördüğü gereksinimlere dayanarak yalnızca 8 MB'lık bir çalışma belleği olduğunu varsayıyor. Ona bu konuyu sorduğumda, operasyonun, bu aktivitenin büyük kısmını yönetmek için açıkça bir DDR arayüzüne bağlı olacağını söyledi.
Bu, model yürütmenin performans gereksinimlerini karşılamak için her şeyi yerel bellekte tutması gerektiğini duyduğum bir düşünce ekolünün değişimidir. Ancak bu, makul olmayan derecede büyük bir yerleşik SRAM gerektirir. DRAM, kapasiteyi yönetmek açısından mantıklıdır, ancak başka bir görüşe göre, hiç kimse bir mobil cihaza bu kadar çok DRAM koymak istemez. Bu çok pahalı olurdu. Ayrıca yavaş ve güce aç.
DRAM veya başka bir tür çip dışı bellek daha anlamlı olur, peki ya maliyet sorunu? Apple'daki yukarıdaki referansa bakın. Görünüşe göre flash belleği düşünüyor olabilirler, dolayısıyla belki de bu yaklaşım o kadar da vahşi değildir. Peki ya performans? Pat bana, Stable Diffusion 1.5 için, 8 MB dahili belleğe sahip 7K MAC motorunun ve 750 GBps harici bellek bant genişliğiyle 12 MHz'de çalıştığını varsayarak, gürültü giderici aracılığıyla 9.24 görüntü/saniye ve gürültü giderici aracılığıyla 3.29 görüntü/saniye işleyebileceklerini söyledi. kod çözücü ağı. Bu oldukça saygın, tüketiciye hazır bir performanstır. Pek çok faktöre bağlı olduğundan gücü belirlemek her zaman zordur, ancak gördüğüm rakamlar bunun beklenen tüketici kullanım modelleri için de iyi olması gerektiğini gösteriyor.
Çok faydalı bir fikir. Görünüşe göre uç nokta için büyük dönüştürücü yapay zekanın çip dışı belleğe bağlı olamayacağı teorisini bir kenara bırakmalıyız. Yine Expedera blogunu okuyabilirsiniz İŞTE.
Bu gönderiyi şu yolla paylaş:
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://semiwiki.com/artificial-intelligence/341410-expedera-proposes-stable-diffusion-as-benchmark-for-edge-hardware-for-ai/
