Nachtaktive Raubtiere verfügen über eine tief verwurzelte Superkraft: Selbst in stockfinsterer Dunkelheit können sie ihre Umgebung problemlos überblicken und leckere Beute anvisieren, die in einer monochromen Landschaft versteckt ist.

Die Suche nach dem nächsten Abendessen ist nicht der einzige Vorteil, wenn man im Dunkeln sieht. Nehmen Sie zum Beispiel eine Fahrt über eine unbefestigte Landstraße in einer mondlosen Nacht. Bäume und Sträucher verlieren ihre Lebendigkeit und Struktur. Tiere, die über die Straße huschen, werden zu schattenhaften Flecken. Trotz ihrer Komplexität bei Tageslicht fällt es unseren Augen schwer, Tiefe, Textur und sogar Objekte bei schwachem Licht zu verarbeiten.

Es ist keine Überraschung, dass Maschinen das gleiche Problem haben. Obwohl sie mit unzähligen Sensoren ausgestattet sind, versuchen selbstfahrende Autos immer noch, ihrem Namen alle Ehre zu machen. Sie funktionieren unter perfekten Wetterbedingungen und auf Straßen mit freien Fahrspuren gut. Aber wenn man die Autos dazu auffordert, bei starkem Regen oder Nebel, Rauch von Waldbränden oder auf Straßen ohne Straßenlaternen zu fahren, haben sie Probleme.

Diesen Monat hat ein Team der Purdue University das Problem der schlechten Sicht direkt angegangen. Durch die Kombination von Wärmebildtechnik, Physik und maschinellem Lernen ihr Technologie ermöglichte es einem visuellen KI-System, im Dunkeln so zu sehen, als wäre es Tageslicht.

Das Herzstück des Systems sind eine Infrarotkamera und eine KI, die auf einer benutzerdefinierten Bilddatenbank trainiert wird, um detaillierte Informationen aus einer bestimmten Umgebung zu extrahieren – und sich im Wesentlichen selbst beizubringen, die Welt mithilfe von Wärmesignalen zu kartieren. Im Gegensatz zu früheren Systemen überwand die Technologie namens Heat-Assisted Detection and Ranging (HADAR) einen berüchtigten Stolperstein: den „Geistereffekt“, der normalerweise verschwommene, geisterhafte Bilder verursacht, die für die Navigation kaum nützlich sind.

Die Ausstattung von Maschinen mit Nachtsicht hilft nicht nur bei autonomen Fahrzeugen. Ein ähnlicher Ansatz könnte auch die Bemühungen zur Verfolgung von Wildtieren zum Schutz unterstützen oder bei der Fernüberwachung der Körperwärme in stark frequentierten Häfen als Maßnahme für die öffentliche Gesundheit helfen.

„HADAR ist eine spezielle Technologie, die uns hilft, das Unsichtbare zu sehen“ sagte Studienautor Xueji Wang.

Hitzewelle

Wir haben uns viel von der Natur inspirieren lassen, um selbstfahrende Autos zu trainieren. Frühere Generationen nutzten Sonar und Echoortung als Sensoren. Dann kam das Lidar-Scanning, bei dem Laser in mehrere Richtungen scannen, Objekte finden und ihre Entfernung basierend auf der Geschwindigkeit, mit der das Licht zurückreflektiert wird, berechnen.

Obwohl diese Erkennungsmethoden leistungsstark sind, weisen sie einen großen Stolperstein auf: Sie lassen sich nur schwer skalieren. Die Technologien sind „aktiv“, was bedeutet, dass jeder KI-Agent – ​​zum Beispiel ein autonomes Fahrzeug oder ein Roboter – ständig Informationen über seine Umgebung scannen und sammeln muss. Wenn mehrere Maschinen unterwegs oder an einem Arbeitsplatz sind, können sich die Signale gegenseitig stören und verzerrt werden. Der Gesamtpegel der ausgesendeten Signale könnte möglicherweise auch das menschliche Auge schädigen.

Wissenschaftler haben lange nach einer passiven Alternative gesucht. Hier kommen Infrarotsignale ins Spiel. Alle Materialien – lebende Körper, kalter Zement, Pappfiguren von Menschen – strahlen eine Wärmesignatur aus. Diese können problemlos mit Infrarotkameras erfasst werden, sei es in freier Wildbahn zur Überwachung von Wildtieren oder in Wissenschaftsmuseen. Vielleicht haben Sie es schon einmal probiert: Wenn Sie einen Schritt nach oben machen, zeigt die Kamera einen zweidimensionalen Klecks von Ihnen und wie verschiedene Körperteile auf einer Skala in leuchtenden Farben Wärme abgeben.

Leider sehen die resultierenden Bilder überhaupt nicht wie Sie aus. Die Kanten des Körpers sind verschmiert und es gibt kaum Textur oder ein Gefühl von 3D-Raum.

„Wärmebilder vom Gesicht einer Person zeigen nur Konturen und einen gewissen Temperaturkontrast; Es gibt keine Funktionen, die den Eindruck erwecken, als hätte man einen Geist gesehen.“ sagte Studienautor Dr. Fanglin Bao. „Dieser Verlust an Informationen, Texturen und Merkmalen stellt ein Hindernis für die maschinelle Wahrnehmung mithilfe von Wärmestrahlung dar.“

Dieser Geistereffekt tritt physikalisch bedingt auch bei den anspruchsvollsten Wärmebildkameras auf.

Sie sehen, vom lebenden Körper bis zum kalten Zement sendet jedes Material Wärmesignale aus. Ebenso pumpt die gesamte Umgebung Wärmestrahlung ab. Wenn Sie versuchen, ein Bild allein auf der Grundlage von Wärmesignalen aufzunehmen, vermischen sich Umgebungswärmegeräusche mit den vom Objekt abgegebenen Geräuschen, was zu verschwommenen Bildern führt.

„Das ist es, was wir eigentlich mit Geisterbildern meinen – den Mangel an Textur, den Mangel an Kontrast und den Mangel an Informationen innerhalb eines Bildes.“ sagte Dr. Zubin Jacob, der die Studie leitete.

Ghostbusters

„HADAR ging zurück zu den Grundlagen und analysierte thermische Eigenschaften, die im Wesentlichen beschreiben, was etwas heiß oder kalt macht“, sagte Jacob.

Wärmebilder bestehen aus zusammengewürfelten nützlichen Datenströmen. Sie erfassen nicht nur die Temperatur eines Objekts; sie enthalten auch Informationen über seine Textur und Tiefe.

Als ersten Schritt entwickelte das Team einen Algorithmus namens TeX, der alle thermischen Daten in nützliche Klassen aufteilt: Textur, Temperatur und Emissionsgrad (die von einem Objekt abgegebene Wärmemenge). Anschließend wurde der Algorithmus an einer benutzerdefinierten Bibliothek trainiert, die katalogisiert, wie verschiedene Gegenstände Wärmesignale im gesamten Lichtspektrum erzeugen.

„Die Algorithmen sind in unser Verständnis der thermischen Physik eingebettet“, sagte Jacob. „Wir haben auch einige fortschrittliche Kameras verwendet, um die gesamte Hardware und Software zusammenzustellen und selbst bei völliger Dunkelheit optimale Informationen aus der Wärmestrahlung zu extrahieren“, fügte er hinzu.

Unsere aktuellen Wärmebildkameras können Signale allein aus Thermobildern nicht optimal extrahieren. Was fehlte, waren Daten für eine Art „Farbe“. Ähnlich wie unsere Augen biologisch an die drei Grundfarben Rot, Blau und Gelb gebunden sind, kann die Thermokamera mehrere Wellenlängen außerhalb des menschlichen Auges „sehen“. Diese „Farben“ sind für den Algorithmus von entscheidender Bedeutung, um Informationen zu entschlüsseln, wobei fehlende Wellenlängen einer Farbenblindheit ähneln.

Mithilfe des Modells konnte das Team Geistereffekte dämpfen und klarere und detailliertere Bilder von Wärmebildkameras erhalten.

Die Demonstration zeigt, dass HADAR „bereit ist, Computer Vision und Bildgebungstechnologie bei schlechten Sichtverhältnissen zu revolutionieren“. sagte Dr. Manish Bhattarai und Sophia Thompson vom Los Alamos National Laboratory bzw. der University of New Mexico, Albuquerque, die nicht an der Studie beteiligt waren.

Nachtfahrt mit Einstein

In einem Machbarkeitsnachweis stellte das Team HADAR einem anderen KI-gesteuerten Computer-Vision-Modell gegenüber. Die Arena mit Sitz in Indiana erinnert direkt an „Fast and the Furious“: spät in der Nacht, wenig Licht, im Freien, mit dem Bild eines Menschen und einem Pappausschnitt von Einstein, der vor einem schwarzen Auto steht.

Im Vergleich zu seinem Konkurrenten analysierte HADAR die Szene auf einen Schlag und unterschied zwischen Glas, Gummi, Stahl, Stoff und Haut. Das System konnte problemlos zwischen Mensch und Pappe unterscheiden. Es könnte auch unabhängig vom Außenlicht eine Tiefenwahrnehmung erkennen. „Die Genauigkeit bei der Entfernung eines Objekts am Tag ist die gleiche … in völliger Dunkelheit, wenn Sie unseren HADAR-Algorithmus verwenden“, sagte Jacob.

HADAR ist nicht ohne Fehler. Der Hauptvorteil ist der Preis. Laut New Scientist, Der gesamte Aufbau ist nicht nur sperrig, sondern kostet auch mehr als 1 Million US-Dollar für die Wärmebildkamera und den Imager in Militärqualität. (HADAR wurde mit Hilfe von entwickelt DARPA, die Defense Advanced Research Projects Agency, die dafür bekannt ist, abenteuerliche Unternehmungen zu unterstützen.)

Das System muss außerdem im laufenden Betrieb kalibriert werden und kann durch eine Vielzahl von Umgebungsfaktoren beeinflusst werden, die noch nicht in das Modell integriert sind. Es gibt auch das Problem der Verarbeitungsgeschwindigkeit.

„Der aktuelle Sensor benötigt etwa eine Sekunde, um ein Bild zu erstellen, aber für autonome Autos benötigen wir eine Bildrate von etwa 30 bis 60 Hertz, also Bilder pro Sekunde“, sagte Bao.

Im Moment kann HADAR noch nicht sofort mit handelsüblichen Wärmebildkameras von Amazon arbeiten. Das Team ist jedoch bestrebt, die Technologie in den nächsten drei Jahren auf den Markt zu bringen und endlich eine Brücke zwischen Licht und Dunkelheit zu schlagen.

„Die Evolution hat den Menschen dazu gebracht, sich auf die Tageszeit zu konzentrieren. Die maschinelle Wahrnehmung der Zukunft wird diese seit langem bestehende Dichotomie zwischen Tag und Nacht überwinden“, sagte Jacob.

Bild-Kredit: Jacob, Bao et al./Purdue University

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• ChartPrime. Verbessern Sie Ihr Handelsspiel mit ChartPrime. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://singularityhub.com/2023/08/14/new-night-vision-tech-lets-ai-see-pitch-darkness-like-broad-daylight/