Aberasyonsuz optikler hantal ve pahalıdır. Yüksek performanslı AI özellikli işlemciler ve çok sayıda işleme kapasitesine sahip GPU'lar sayesinde, günümüzde görüntü kalitesi daha çok minyatür optik ve sensörlere bağlı yüksek bilgi işlem gücüne dayanmaktadır. Hesaplamalı görüntüleme, görüntülemede yeni bir trenddir ve görüntü elde etme, işleme ve görselleştirmeyi iyileştirmek için hesaplama teknikleri ile geleneksel görüntülemenin birleşimine dayanır. Bu eğilim, akıllı telefon kameralarının yükselişiyle giderek daha önemli hale geldi ve görüntüleri yakalamak, değiştirmek ve analiz etmek için algoritmaların, yazılımların ve donanım bileşenlerinin kullanılmasını içeriyor. İyileştirilmiş görüntü kalitesi ve gelişmiş görsel bilgi ile sonuçlanır ve ayrıca gömülü görüş uygulamaları için kritik olan anlamlı veri çıkarımına olanak tanır.
Hesaplamalı görüntülemenin çeşitli avantajları olsa da, tam potansiyelden yararlanmak için ele alınması gereken birçok zorluk vardır. Optik tasarımcılar, elektronik mühendisleri ve yapay zeka yazılım mühendisleri tarafından kullanılan tasarım ve simülasyon araçları genellikle kendi alanlarında uzmanlaşmıştır. Bu silolar oluşturarak tüm görüntüleme hattında işbirliğini ve entegrasyonu engeller ve yetersiz sistem performansına neden olur.
Tüm görüntüleme sistemini dikkate alan sistem düzeyinde bir tasarım ve simülasyon yaklaşımı, görüntü kalitesini, sistem işlevselliğini ve performansını (maliyet, boyut, güç tüketimi, gecikme…) optimize eder. Optik tasarım, görüntü sensörü ve işlemci tasarımı, görüntü işleme algoritmaları ve AI modellerinin entegre edilmesini gerektirecektir. Kısa süre önce yayınlanan özet teknik inceleme hesaplamalı görüntüleme tasarımı ve simülasyon boru hatlarındaki boşlukların yalnızca sistem düzeyinde çözümlerle nasıl aşılabileceğini tartışıyor.
Hesaplamalı Görüntüleme Ardışık Düzenini Geliştirmek için Yapay Zeka Algoritmalarından Yararlanma
Görüntü Sinyali İşlemcileri (ISP'ler), görüntü sensörlerinden gelen ham verileri işler ve görüntü kalitesini artırmak için çeşitli görevleri yerine getirir. Geleneksel ISP'ler belirli işlevler için tasarlanmıştır ve esnekliklerini ve farklı sensör sınıflarına uyarlanabilirliklerini sınırlayarak maliyet verimliliği için fiziksel olarak bağlanmıştır. Sinir ağlarını (NN) kullanan AI tabanlı görüntü işleme, görüntü kalitesini iyileştirmek için geleneksel ISP'leri tamamlama veya değiştirme konusunda umut vaat ediyor.
Geleneksel ISP'leri Tamamlayın veya Değiştirin
Örneğin, ISP'lerde kullanılan bir gürültü filtresi görüntü kalitesini artırabilir ancak ham verilerde bulunan önemli bilgileri atabilir. Dijital sinyal işlemeden (DSP) önce renk sapması etkilerini analiz ederek, ham sensör verilerinde bulunan derinlik verileri dolaylı olarak çıkarılabilir. Bu derinlik verileri daha sonra, mevcut ISP'lerde mümkün olmayan bir 3D görüntüden bir sahnenin 2D temsilini yeniden oluşturmak için AI tabanlı algoritmalar tarafından kullanılabilir. Bilgisayar görü işlevlerinin birincil amacının, insan görüntülemesi için algılanan kaliteyi artırmak yerine makine öğrenimini kullanarak görüntü içeriğini yorumlamak olduğu durumlarda, ham verilerle çalışmak avantajlı hale gelir. Ham verilerin kullanılması, daha doğru nesne sınıflandırması, nesne algılama, sahne segmentasyonu ve diğer karmaşık görüntü analizlerine izin verir. Bu gibi durumlarda, görüntü kalitesi için tasarlanmış bir ISP'nin varlığı gereksiz hale gelir.
Dijital Görüntüleme Sistemleri İçin Yeni Olanaklar
NN'ler, geleneksel ISP'lerin yeteneklerini aşarak, gürültü giderme ve demosaicing gibi görevlerde mükemmeldir. Ayrıca, düşük ışık iyileştirme, bulanıklık azaltma, Bokeh bulanıklık efekti, yüksek dinamik aralık (HDR) ve geniş dinamik aralık gibi daha karmaşık özellikleri de destekleyebilirler. İyi bir görüntünün neye benzemesi gerektiğine dair bilgiyi yerleştirerek, YSA'lar daha yüksek çözünürlüklü görüntüler üretebilir. Gürültü giderme ve demozaikleştirmeyi entegre bir süreçte birleştirmek, görüntü kalitesini daha da artırır. Ek olarak, NN tabanlı demosaicing, geleneksel Bayer düzeninin ötesinde farklı piksel düzenlerinin kullanılmasını sağlayarak dijital görüntüleme sistemleri için yeni olanaklar sunuyor.
Daha Ucuz Lensler Daha Doğru Nesne Tespiti Sağlar
Yapay sinir ağları, "kusurlu" lensler tarafından yakalanan görüntüleri işlerken nesne algılama ve derinlik haritası tahmini gibi belirli görevler için daha iyi sonuçlar üretebilir. Örnek olarak, kusurlu merceklerin neden olduğu renk sapmalarının varlığı, görüntüye ek bilgiler ekler ve bu da YSA'nın nesneleri tanımlamasına ve derinliği tahmin etmesine yardımcı olabilir.
Yapay Zeka Tabanlı Yeniden Yapılandırma Algoritmalarıyla Lens Optiklerini Birlikte Tasarlama
Akıllı telefon tabanlı ultra minyatür kameralar, pazardaki Dijital Tek Lensli Refleks (DSLR) kameraları gölgede bırakmış olsa da, optiklerin sınırlarıyla karşı karşıya kalıyorlar. Princeton'daki araştırmacılar, kompakt görüntüleme uygulamalarında hacimli kavisli lenslerin yerini alabilen ince, düz yüzeyler olan metalenslerin kullanımını araştırdılar. Sapmaları düzelten ve geniş bir görüş alanıyla yüksek kaliteli görüntüleme sağlayan bir yapay zeka algoritmasıyla birlikte bir metalens tasarladılar.
Bu ortak tasarımın kilit yönü, farklılaştırılabilir bir meta-optik görüntü oluşturma modeli ile yapay zekadan yararlanan yeni bir ters evrişim algoritmasının birleşimidir. Bu modeller uçtan uca bir modele entegre edilmiştir ve görüntü kalitesini iyileştirmek için tüm görüntüleme hattında ortak optimizasyona olanak tanır.
Görüntüleme Sistemlerinin Tasarımı için Synopsys Çözümleri
Synopsys, tüm hesaplamalı görüntüleme sistemi boru hattının gereksinimlerini karşılamak için araçlar sunar. Optik tasarım ve analiz araçları, optik sistemleri modellemek ve optimize etmek için CODE V, LightTools ve RSoft Photonic Device Tools'u içerir. Şirketin Teknoloji Bilgisayar Destekli Tasarımı (TCAD), süreç ve cihaz simülasyonunun yanı sıra simülasyon görevlerini ve sonuçlarını yönetmek için kapsamlı bir ürün paketi sunar.
Synopsys ayrıca, ISP ve bilgisayar görüşü (CV) bloklarını tasarlamak ve değerlendirmek için çok çeşitli IP bileşenleri ve geliştirme araçları sunar. Bu IP bileşenleri arasında MIPI arabirimi, vektör DSP'lerin ARC® VPX ailesi ve Nöral İşleme Birimlerinin (NPU'lar) ARC VPX ailesi bulunur.
Synopsys ARC MetaWare MX Toolkit, ortak bir yazılım geliştirme araçları zinciri sağlar ve MetaWare Neural Network SDK ile MetaWare Virtual Platforms SDK içerir. Neural Network SDK, NN modellerini otomatik olarak derler ve optimize eder, Virtual Platforms SDK ise sanal prototipleme için kullanılabilir.
Synopsys Platform Architect ™, çok çekirdekli SoC mimarilerinin erken analizi ve optimizasyonu için mimarlara ve sistem tasarımcılarına SystemC™ TLM tabanlı araçlar ve verimli yöntemler sağlar.
Özet
Hesaplamalı görüntüleme, bağımsız ve hantal ancak sapmasız optikler yerine minyatür optiklere ve sensörlere bağlı yüksek bilgi işlem gücüne her zamankinden daha fazla güveniyor. Umut verici sistem birlikte tasarımı ve birlikte optimizasyon yaklaşımları, bilgi işlem gereksinimlerini makul bir seviyede tutarken donanım karmaşıklığını azaltarak hesaplamalı görüntüleme sistemlerinin tüm potansiyelini ortaya çıkarmaya yardımcı olabilir.
Synopsys, otomotivdeki destekli sürüş sistemlerinden, akıllı üretim için bilgisayar görüşü tabanlı robotlara veya karma gerçeklik için yüksek kaliteli görüntülere kadar tüm alanları kapsayan hesaplamalı görüntüleme hattının tamamı için tasarım araçları sunar.
Erişmek için teknik inceleme, burayı tıklayın. Daha fazla bilgi için Synopsys ile iletişime geçin.
Ayrıca Oku:
RTL'niz ve Netlistiniz DFT için Hazır mı?
Synopsys, IP Ayak İzini Artırmak İçin Samsung Foundry ile Anlaşmasını Genişletiyor
Çok Kalıplı Sistem Başarısı için Gereksinimler
Bu gönderiyi şu yolla paylaş:
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://semiwiki.com/eda/synopsys/331263-computational-imaging-craves-system-level-design-and-simulation-tools-to-leverage-ai-in-embedded-vision/
