Günlük yaşamımızda, herkes farkında olsun ya da olmasın, hepimiz görüntü sinyal işlemeden (ISP) yararlanırız. ISP, bir görüntüleme cihazı tarafından yakalanan görüntü verilerinin işlenmesi tekniğidir. Bozulmaları düzelterek, gürültüyü gidererek, parlaklık ve kontrastı ayarlayarak ve özellikleri geliştirerek ham görüntü verilerini kullanılabilir bir görüntüye dönüştüren bir dizi algoritma içerir. Yani ISP tek başına yeni bir şey değil.

Yeni olan, ISP'yi geleneksel ISP'den daha iyi sonuçlar verecek şekilde geliştirmek için yapay zekadan (AI) yararlanmaktır. İlk olarak, dijital fotoğrafçılık alanında yapay zeka, ISP'nin yeteneklerini önemli ölçüde geliştirebilir. Geleneksel İSS'ler görüntüleri işlemede etkilidir ancak yapay zeka bunu bir sonraki seviyeye taşıyabilir. Örneğin AI, özellikle düşük ışık koşullarında görüntünün netliğini artırarak gürültünün azaltılmasına yardımcı olabilir. Üstelik yapay zeka algoritmaları, görüntüdeki çeşitli sahneleri veya nesneleri tanıyarak en iyi sonuçları elde etmek için parlaklık, kontrast ve doygunluk gibi farklı parametrelerde otomatik ayarlamalara olanak tanıyor.

Otonom araçlar dünyasında, yapay zeka ile geliştirilmiş İSS'ler, aracın çevresini daha iyi anlamak için gerçek zamanlı görüntüleri işleyerek karar vermeye yardımcı olabilir. Geleneksel İSS'ler farklı aydınlatma koşullarıyla veya yüksek hızlarda nesne algılamayla mücadele edebilir, ancak yapay zeka bu yönleri geliştirerek aracın potansiyel tehlikelere tepki verme yeteneğini geliştirebilir ve genel yol güvenliğini artırabilir.

Son olarak, gözetim ve güvenlik alanında, yapay zeka ile güçlendirilmiş İSS'ler, CCTV görüntülerinden alınan görüntüleri daha etkili bir şekilde işleyebilir. Yapay zeka, gerçek zamanlı uyarılar sağlayarak ve genel güvenlik önlemlerini geliştirerek şüpheli etkinliklerin tespit edilmesine, yüzlerin tanınmasına veya gözetimsiz bırakılan nesnelerin tanımlanmasına yardımcı olabilir.

Peki yapay zeka tabanlı ISP nasıl uygulanır? Söylemesi yapmaktan daha kolay. Üstesinden gelinmesi gereken pek çok zorluk var. Yapay zeka algoritmaları hızla gelişiyor ve bir Yapay Zeka-ISP çözümünün programlanabilir olmasını gerektiriyor. Yapay zeka modelleri çok fazla hesaplama gücü gerektirir. Ayrı olarak geliştirilen ISP ve NPU'yu birleştiren geleneksel teknikler, genellikle işlenmek üzere tüm görüntü karelerini depolamak için çok fazla bellek gerektirir. DDR-SDRAM'lere erişim çok fazla güç tüketir. Ve bu gevşek bağlı çerçeve tabanlı çözüm, birçok uygulama için kabul edilemez olan, çerçevelerle ölçülen gecikmeleri ortaya çıkaracaktır.

Günümüz uygulamaları için ihtiyaç duyulan şey, düşük gecikme ve düşük güç tüketimiyle gerçek zamanlı işlemdir. Çözümü DDR'siz hale getirmek, sistem güç gereksinimlerini önemli ölçüde azaltacağından daha da çekici. Elbette NPU'lar yapay zeka tabanlı bir ISP çözümünün anahtarıdır. Ancak DDR'siz, düşük gecikme süreli, düşük güçlü bir AI-ISP çözümüne ulaşmak için çok daha fazlası gerekiyor. Bu, Mankit Lo'nun son Gömülü Vizyon Zirvesi konferansındaki sunumunun konusuydu. VeriSilicon'da NPU IP Geliştirme Baş Mimarı olan Mankit, dinleyicilere ele alınması gereken çeşitli hususlar konusunda rehberlik etti.

Çözüm Gereksinimleri

İSS Gereksinimleri

ISP'ye yönelik geleneksel donanımda, görüntüleme sisteminin olası kusurlarını düzeltmek için işlem hattı aşamalarında birçok modül vardır. AI-ISP'yi gerçekleştirmek için seçilen ISP, müşterinin değiştireceği veya geliştireceği modülleri seçmesine ve seçmesine olanak tanıyacak kadar esnek olmalıdır.

NPU Gereksinimleri

ISP görevleri hesaplama açısından çok büyük ve yoğun olduğundan, görev genellikle birçok NPU çekirdeğinde yürütülecek şekilde bölümlendirilir. NPU çekirdeklerine giden giriş tarafında çok fazla görüntü çakışması var. Sinir ağı içindeki 3x3'lük bir evrişim katmanı için bile, yalnızca birkaç pikselin örtüşme gereksinimi, tüm ağ seviyesinde büyük bir örtüşmeye neden olabilir. Sistemdeki bellek, güç ve bilgi işlem talebini azaltmak için örtüşmenin en aza indirilmesi gerekir. Bunu yapmanın yolu katman düzeyinde örtüşme paylaşımından geçer.

İhtiyaç duyulan şey, tarama hatlarını işleyebilen ve ISP işleme hattının bir parçası haline gelerek çözümü DDR'siz, düşük gecikmeli ve düşük güçte hale getirebilen bir NPU'dur. NPU'nun, değişen yapay zeka ağ modeli ortamını yönetecek ve çok iyi performans sunacak şekilde programlanabilir olması gerekir. Ayrıca, görüntü giriş tarafında herhangi bir örtüşme gerektirmeyen Katman Başına Örtüşme Paylaşımını da desteklemesi gerekir.

VeriSilicon Teklifleri

AI-ISP konusuna özel olarak VeriSilicon, bu IP'leri sorunsuz bir şekilde bağlamak için ISP, NPU ve FLEXA-PSI arayüzünü sağlar. VeriSilicon AI-ISP çözümünün blok şemasına bakın.

Müşterilerin benzersiz çözümlerini tamamlamak için özel yapay zeka algoritmalarını karışıma eklemeleri yeterli. VeriSilicon ayrıca ISP ile ilgili gürültü azaltma, dezaicing ve yüz algılama ve sahne algılama gibi farklı algılama türleri gibi algoritmalar da sağlayabilir.

Tıkla okuyun VeriSilicon'un NPU IP teklifi hakkında daha fazla bilgi edinmek için.

Tıkla okuyun VeriSilicon'un ISP IP teklifi hakkında daha fazla bilgi edinmek için.

VeriSilicon, birçok farklı pazar için özel silikon hizmetleri ve çok geniş bir fikri mülkiyet portföyü sunmaktadır. Daha fazlasını şu adreste öğrenin: VeriSilicon.com

Ayrıca Oku:

VeriSilicon'un Akıllı Sağlık Uygulamaları için VeriHealth Çip Tasarım Platformu

VeriSilicon'un AI-ISP'si Geleneksel Bilgisayarla Görme Teknolojilerinin Sınırlarını Aşıyor

Bu gönderiyi şu yolla paylaş:

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
• Kaynak: https://semiwiki.com/artificial-intelligence/329794-real-time-ai-driven-image-signal-processing-with-reduced-memory-footprint-and-processing-latency/