Gece yırtıcılarının kökleşmiş bir süper gücü vardır: zifiri karanlıkta bile, tek renkli bir manzara arasında gizlenmiş lezzetli avlarına odaklanarak çevrelerini kolayca inceleyebilirler.

Bir sonraki akşam yemeğiniz için avlanmak, karanlıkta görmenin tek avantajı değil. Aysız bir gecede kırsal bir toprak yolda araba sürmeye başlayın. Ağaçlar ve çalılar canlılıklarını ve dokularını kaybederler. Yolun karşısına sıçrayan hayvanlar gölgeli lekeler haline gelir. Gün ışığındaki karmaşıklığına rağmen, gözlerimiz loş ışıkta derinliği, dokuyu ve hatta nesneleri işlemekte zorlanır.

Makinelerin aynı sorunu yaşaması şaşırtıcı değil. Sayısız sensörle donanmış olmalarına rağmen, kendi kendine giden arabalar hala isimlerinin hakkını vermeye çalışıyor. Mükemmel hava koşullarında ve açık trafik şeritli yollarda iyi performans gösterirler. Ancak arabalardan şiddetli yağmurda veya siste, orman yangınlarından çıkan dumanda veya sokak lambası olmayan yollarda gitmelerini isteyin ve mücadele ederler.

Bu ay, Purdue Üniversitesi'nden bir ekip düşük görünürlük sorununu doğrudan ele aldı. Termal görüntüleme, fizik ve makine öğrenimini birleştiren, ve bazı Asya teknoloji görsel bir AI sisteminin karanlıkta sanki gün ışığıymış gibi görmesine izin verdi.

Sistemin merkezinde bir kızılötesi kamera ve belirli bir çevreden ayrıntılı bilgi çıkarmak için özel bir görüntü veri tabanı üzerinde eğitilmiş yapay zeka vardır - esasen ısı sinyallerini kullanarak dünyanın haritasını çıkarmayı kendi kendine öğretir. Önceki sistemlerden farklı olarak, ısı destekli algılama ve mesafe belirleme (HADAR) adı verilen teknoloji, kötü şöhretli bir engelin üstesinden geldi: genellikle navigasyon için pek kullanışlı olmayan lekeli, hayalet benzeri görüntülere neden olan "gölgelenme etkisi".

Makinelere gece görüşü vermek, yalnızca otonom araçlara yardımcı olmuyor. Benzer bir yaklaşım, koruma için vahşi yaşamı izleme çabalarını destekleyebilir veya bir halk sağlığı önlemi olarak yoğun limanlarda vücut ısısının uzun mesafeli izlenmesine yardımcı olabilir.

“HADAR, görünmeyeni görmemizi sağlayan özel bir teknoloji” şuraya çalışma yazarı Xueji Wang.

Sıcak hava dalgası

Kendi kendine giden arabaları eğitmek için doğadan bolca ilham aldık. Önceki nesiller sensör olarak sonar ve ekolokasyonu benimsedi. Ardından, birden çok yönde tarama yapmak, nesneleri bulmak ve ışığın ne kadar hızlı geri döndüğüne bağlı olarak mesafelerini hesaplamak için lazerleri kullanan Lidar taraması geldi.

Güçlü olmasına rağmen, bu algılama yöntemleri büyük bir engel ile birlikte gelir: ölçeklendirmeleri zordur. Teknolojiler "aktif", yani her yapay zeka aracısının - örneğin otonom bir araç veya bir robot - sürekli olarak çevresi hakkında bilgi taraması ve toplaması gerekecek. Yolda veya bir çalışma alanında birden fazla makine olduğunda, sinyaller birbirini etkileyebilir ve bozulabilir. Yayılan sinyallerin genel seviyesi de potansiyel olarak insan gözlerine zarar verebilir.

Bilim adamları uzun zamandır pasif bir alternatif aradılar. Kızılötesi sinyallerin devreye girdiği yer burasıdır. Canlı vücutlar, soğuk beton, kartondan kesilmiş insan parçaları gibi tüm malzemeler bir ısı imzası yayar. Bunlar, vahşi yaşamı izlemek için vahşi doğada veya bilim müzelerinde kızılötesi kameralar tarafından kolayca yakalanır. Bunu daha önce denemiş olabilirsiniz: yukarı çıkın ve kamera sizin iki boyutlu bir damlanızı ve parlak renkli bir ölçekte farklı vücut bölümlerinin nasıl ısı yaydığını gösterir.

Ne yazık ki, ortaya çıkan görüntüler size hiç benzemiyor. Gövdenin kenarları lekeli ve çok az doku veya 3B alan hissi var.

“Bir kişinin yüzünün termal resimleri yalnızca konturları ve bir miktar sıcaklık kontrastını gösterir; bir hayalet görmüş gibi görünmenizi sağlayacak hiçbir özellik yok,” şuraya çalışma yazarı Dr. Fanglin Bao. "Bu bilgi, doku ve özellik kaybı, ısı radyasyonu kullanan makine algısı için bir engeldir."

Bu gölgelenme etkisi, fizik nedeniyle en gelişmiş termal kameralarda bile oluşur.

Canlı bedenlerden soğuk çimentoya kadar tüm materyaller ısı sinyalleri gönderir. Benzer şekilde, tüm çevre de ısı radyasyonunu dışarı pompalar. Yalnızca termal sinyallere dayalı bir görüntü yakalamaya çalışırken, ortam ısısı gürültüsü nesneden yayılan seslerle karışarak puslu görüntülere neden olur.

"Gölgelenme derken asıl kastettiğimiz şey bu; bir görüntünün içindeki doku eksikliği, kontrast eksikliği ve bilgi eksikliği." şuraya Çalışmayı yöneten Dr. Zubin Jacob.

Hayalet Avcıları

Jacob, HADAR'ın esasen bir şeyi sıcak veya soğuk yapan şeyi tanımlayan termal özellikleri analiz ederek temellere geri döndüğünü söyledi.

Termal görüntüler, birbirine karıştırılmış faydalı veri akışlarından yapılır. Sadece bir nesnenin sıcaklığını yakalamazlar; ayrıca dokusu ve derinliği hakkında bilgi içerirler.

İlk adım olarak ekip, tüm termal verileri faydalı kutulara ayıran TeX adlı bir algoritma geliştirdi: doku, sıcaklık ve emisyon (bir nesneden yayılan ısı miktarı). Algoritma daha sonra, farklı öğelerin ışık spektrumu boyunca ısı sinyallerini nasıl ürettiğini kataloglayan özel bir kitaplık üzerinde eğitildi.

Jacob, algoritmaların termal fizik anlayışımızla bütünleştiğini söyledi. "Ayrıca tüm donanımı ve yazılımı bir araya getirmek ve zifiri karanlıkta bile termal radyasyondan en uygun bilgileri çıkarmak için bazı gelişmiş kameralar kullandık" diye ekledi.

Mevcut termal kameralarımız, tek başına termal görüntülerden optimum şekilde sinyal çıkaramaz. Eksik olan, bir tür "renk" için veriydi. Gözlerimizin biyolojik olarak üç ana renge (kırmızı, mavi ve sarı) nasıl bağlı olduğuna benzer şekilde, termo kamera insan gözünün ötesindeki birden çok dalga boyunda "görebilir". Bu "renkler", renk körlüğüne benzer eksik dalga boyları ile algoritmanın bilgileri deşifre etmesi için kritik öneme sahiptir.

Ekip, modeli kullanarak gölgelenme etkilerini azaltmayı ve termal kameralardan daha net ve ayrıntılı görüntüler elde etmeyi başardı.

Gösteri, HADAR'ın "düşük görüş koşullarında bilgisayar görüşü ve görüntüleme teknolojisinde devrim yaratmaya hazır olduğunu" gösteriyor. şuraya Dr. Çalışmaya dahil olmayan sırasıyla Los Alamos Ulusal Laboratuvarı ve New Mexico Üniversitesi, Albuquerque'den Manish Bhattarai ve Sophia Thompson.

Einstein ile Geç Gece Sürüşü

Ekip, bir konsept kanıtı olarak, HADAR'ı başka bir yapay zeka güdümlü bilgisayar görme modeliyle karşı karşıya getirdi. Indiana merkezli arena, doğrudan Hızlı ve Öfkeli'den: gece geç saatlerde, düşük ışıkta, açık havada, bir insan görüntüsü ve siyah bir arabanın önünde duran Einstein'ın karton bir kesimi ile.

HADAR, rakibiyle karşılaştırıldığında sahneyi tek hamlede analiz ederek cam kauçuk, çelik, kumaş ve cilt arasında ayrım yaptı. Sistem, kartona karşı insanı kolayca deşifre etti. Ayrıca, dış ışıktan bağımsız olarak derinlik algısını da algılayabilir. Jacob, "Gündüz bir nesneye menzil belirleme doğruluğu aynıdır... zifiri karanlıkta, eğer bizim HADAR algoritmamızı kullanıyorsanız," dedi Jacob.

HADAR hatasız değildir. Ana trip-up fiyattır. Göre New Scientist, tüm kurulum sadece hantal değil, aynı zamanda termal kamerası ve askeri sınıf görüntüleyici için 1 milyon dolardan fazlaya mal oluyor. (HADAR, DARPA, maceralı girişimleri desteklemesiyle tanınan Savunma İleri Araştırma Projeleri Ajansı.)

Sistemin ayrıca anında kalibre edilmesi gerekir ve henüz modelde yerleşik olmayan çeşitli çevresel faktörlerden etkilenebilir. İşlem hızı sorunu da var.

Bao, "Mevcut sensörün bir görüntü oluşturması yaklaşık bir saniye sürüyor, ancak otonom araçlar için yaklaşık 30 ila 60 hertz kare hızına veya saniyede kareye ihtiyacımız var" dedi.

Şimdilik HADAR, Amazon'un hazır termal kameralarıyla kutudan çıktığı gibi çalışamıyor. Ancak ekip, teknolojiyi önümüzdeki üç yıl içinde pazara sunmaya ve sonunda ışıkla karanlığa köprü kurmaya hevesli.

“Evrim, insanı gündüze karşı önyargılı hale getirdi. Geleceğin makine algısı, gece ve gündüz arasındaki bu uzun süredir devam eden ikiliğin üstesinden gelecek," dedi Jacob.

Resim Kredi: Jacob, Bao, et al/Purdue Üniversitesi

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• ChartPrime. Ticaret Oyununuzu ChartPrime ile yükseltin. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://singularityhub.com/2023/08/14/new-night-vision-tech-lets-ai-see-pitch-darkness-like-broad-daylight/