15 (Nanowerk-Scheinwerfer) Die unübertroffenen visuellen Fähigkeiten des menschlichen Gehirns effektiv nachzuahmen und dabei strenge Energiebeschränkungen einzuhalten, stellt eine gewaltige Herausforderung für dar künstliche Intelligenz Entwickler. Das menschliche visuelle System verarbeitet optische Daten auf elegante Weise mithilfe kurzer elektrischer Impulse, sogenannter Spikes, die zwischen Neuronen übertragen werden. Dieser Spitzen-Neuronalcode unterstützt unsere beispiellose Mustererkennung mit begrenzten Rechenressourcen. Moderne maschinelle Bildverarbeitung erfordert jedoch eine umfangreiche Verarbeitung visueller Eingaben von stromhungrigen Sensoren in Darstellungen, die für Computeralgorithmen verdaulich sind. Diese Rechenintensität drosselt den Einsatz kontinuierlich arbeitender Bildverarbeitungssysteme in mobilen und mobilen Geräten Internet der Dinge Kontexte. Das Streben nach alternativen, bioinspirierten Architekturen, die visuelle Intelligenz besser mit Energieeffizienz in Einklang bringen, hat sich entsprechend intensiviert. Bisher hatten Forscher Schwierigkeiten, die wichtigsten Vorteile des biologischen Sehens in künstliche Systeme zu übertragen. Benutzerdefinierte Spiking-Kameras und -Sensoren beeinträchtigen häufig die Bildqualität und erfordern gleichzeitig zusätzliche Komponenten, um visuelle Eingaben als Spikes zu kodieren. Unterdessen erreichen Algorithmen, die Spike-Neuronen nachahmen, selten die Effizienz ihrer biologischen Gegenstücke, wenn sie auf herkömmlicher Computerhardware ausgeführt werden. Diese Einschränkungen haben die Entwicklung künstlich intelligenter Bildverarbeitungssysteme zum Stillstand gebracht, die die visuellen Fähigkeiten modernster Computer-Vision mit dem geringen Energieverbrauch von Spike-Neuronalen Netzen kombinieren. Jetzt berichten Forscher der Technischen Universität Peking (Fortgeschrittene Werkstoffe, „Eine Spitzenarchitektur für künstliches Sehen, die auf der vollständigen Nachahmung des menschlichen Sehvermögens basiert“) ein vielversprechendes Spike-basiertes künstliches Sehsystem, das Schlüsselaspekte des biologischen Sehens in Siliziumschaltkreisen nachahmt. Ihr neuartiger photoaktiver neuronaler Netzwerkchip wandelt Licht direkt in elektrische Stromspitzen um und zeigt gleichzeitig die Selektivität von Netzhautzellen für visuelle Veränderungen gegenüber statischen Eingaben. Mit diesem bioinspirierten Ansatz zur Analyse von Live-Bildern erreichte die Gruppe nach geringfügigem Training eine Genauigkeit von über 90 % bei der Erkennung von Handgesten mit einem elementaren neuronalen Netzwerk.
Künstliche Seharchitekturen, die auf dem vollständigen Kopieren und Einfügen der menschlichen Sehkraft basieren. a Das menschliche visuelle System, bestehend aus der Netzhaut (Spiking-Kodierung) und dem Gehirn (Informationsverarbeitung). b Die neuartige Spiking-basierte künstliche Sehstrategie, bestehend aus dem Spiking-Fotodetektor (Spiking-Kodierung) und der künstlichen Synapse (Informationsverarbeitung). (Bild: Nachdruck mit Genehmigung des Wiley-VCH Verlags) Das Herzstück dieser Innovation sind spezielle Fotodetektorschaltungen, die als Reaktion auf sich ändernde Lichtstärken elektrische Stromspitzen ausgeben und so Netzhautzellen im menschlichen Auge nachahmen. Im Gegensatz zu einer typischen Digitalkamera, die unabhängig vom Bildinhalt einen konstanten Strom von Pixeldaten ausgibt, bleiben diese „Spike-Fotodetektoren“ beim Betrachten statischer Szenen inaktiv und feuern Spikes nur für sich bewegende oder neu sichtbare Objekte ab, die kodiert werden müssen.
Dieses selektive Spitzenverhalten ermöglicht eine effiziente Informationsdarstellung, ähnlich der neuronalen Kodierung visueller Reize durch die menschliche Netzhaut. Anstatt die absoluten Lichtstärken einer gesamten Szene zu erfassen, reagieren die Spiking-Fotodetektoren und ihre biologischen Gegenstücke vorwiegend auf Änderungen der Lichtstärke in ihrem Empfangsfeld.
Die Forscher vermuten, dass das Herausfiltern unveränderlicher und wahrscheinlich unwichtiger Hintergrundbildelemente die außergewöhnliche Mustererkennung des biologischen Sehens unter Verwendung begrenzter neuronaler Ressourcen ermöglicht.
In Tests induzierte die Beleuchtung von Arrays dieser ereignisgesteuerten Pixel mit symbolischen Grafiken und Handgesten unterschiedlicher Dynamik Spitzenmuster, die ausreichend Informationen für die anschließende Klassifizierung mit einfacher neuronaler Netzwerkverarbeitung enthielten.
Beispielsweise ermöglichte die Umwandlung der Fingerschreibweise der amerikanischen Gebärdensprache in Spikes eine schnelle neuronale Netzwerkidentifizierung von vier verschiedenen Buchstaben mit nur 50 Trainingsbeispielen pro Buchstabe. Bezeichnenderweise erreichten etablierte Deep-Learning-Techniken eine vergleichbare Genauigkeit erst nach der Verarbeitung umfangreicher Bildsequenzen von weitaus leistungsintensiveren Digitalkameras und Grafikprozessoren.
Bei der Auswertung ihres Systems anhand eines standardisierten menschlichen Aktivitätsdatensatzes extrahierten die Spike-Fotodetektorpixel ebenfalls angemessene Haltungs- und Bewegungsnuancen aus nur vier spärlichen binären Silhouettenbildern pro Video. Die Einspeisung dieser komprimierten Spitzendarstellungen von Aktionen wie Springen und Winken in einen grundlegenden neuronalen Netzwerkklassifikator ermöglichte eine Erkennung mit einer Genauigkeit von 90 % nach nur fünf Trainingsepochen. Um diesen Benchmark zu erreichen, müssen in der Regel Tausende von hochauflösenden Videostandbildern mit aufwändig entwickelten tiefen neuronalen Netzen analysiert werden.
Um Bilderkennungsaufgaben zu bewältigen, baute das Team seine bioinspirierten Schaltkreise aus, indem es synaptische Geräte integrierte, die zuvor für die Verstärkung neuromorpher Prozessoren entwickelt wurden. Diese künstlichen Synapsen ahmen die einstellbare Verbindungsstärke zwischen biologischen Neuronen nach und bieten ein einstellbares Gedächtnis, um das Lernen zu ermöglichen. Durch die Anwendung von Programmierimpulsen gewichteten die Forscher die Synapsen, die Spitzen von den Fotodetektoren erhielten, entsprechend und brachten dem Netzwerk bei, grundlegende Form- und Bewegungsmusterkombinationen zu klassifizieren. Deutliche Unterschiede in den Synapsenleitfähigkeitswerten nach dem Training entsprachen eindeutigen Identifizierungsmerkmalen innerhalb optischer Reize.
Insgesamt zeigen die Ergebnisse große Fortschritte auf dem Weg zu effizientem neuromorphem Computing unter Nutzung der Designprinzipien des Gehirns. Die ereignisgesteuerte Informationsdarstellung behebt wichtige Einschränkungen beim Einsatz künstlicher Intelligenz auf mobilen Plattformen und anderen Kontexten mit begrenzter Leistung. Zukünftig wollen die Forscher ihre Spike-Architektur für praktische Bildverarbeitungsanwendungen weiterentwickeln.
Mit erweiterten Arrays mit höherer Auflösung zur Erfassung umfangreicherer visueller Daten mit Bildraten, die der menschlichen Wahrnehmung entsprechen, könnten von Biologen inspirierte Bildverarbeitungssysteme allgegenwärtig werden.
Eine optimierte Spike-basierte Datenübertragung verschiedener vorhandener Sensoren würde die Lücke zu biologischen Kapazitäten weiter schließen. Für autonome Fahrzeugnavigation, Augmented-Reality-Schnittstellen, Robotik und andere Bereiche, von denen erwartet wird, dass sie das zukünftige Nachfragewachstum nach Computer-Vision-Hardware vorantreiben, sind gleichzeitige Verbesserungen der Leistungsfähigkeit und Effizienz nach wie vor unerlässlich.
Künstliche Seharchitekturen, die auf dem vollständigen Kopieren und Einfügen der menschlichen Sehkraft basieren. a Das menschliche visuelle System, bestehend aus der Netzhaut (Spiking-Kodierung) und dem Gehirn (Informationsverarbeitung). b Die neuartige Spiking-basierte künstliche Sehstrategie, bestehend aus dem Spiking-Fotodetektor (Spiking-Kodierung) und der künstlichen Synapse (Informationsverarbeitung). (Bild: Nachdruck mit Genehmigung des Wiley-VCH Verlags) Das Herzstück dieser Innovation sind spezielle Fotodetektorschaltungen, die als Reaktion auf sich ändernde Lichtstärken elektrische Stromspitzen ausgeben und so Netzhautzellen im menschlichen Auge nachahmen. Im Gegensatz zu einer typischen Digitalkamera, die unabhängig vom Bildinhalt einen konstanten Strom von Pixeldaten ausgibt, bleiben diese „Spike-Fotodetektoren“ beim Betrachten statischer Szenen inaktiv und feuern Spikes nur für sich bewegende oder neu sichtbare Objekte ab, die kodiert werden müssen.
Dieses selektive Spitzenverhalten ermöglicht eine effiziente Informationsdarstellung, ähnlich der neuronalen Kodierung visueller Reize durch die menschliche Netzhaut. Anstatt die absoluten Lichtstärken einer gesamten Szene zu erfassen, reagieren die Spiking-Fotodetektoren und ihre biologischen Gegenstücke vorwiegend auf Änderungen der Lichtstärke in ihrem Empfangsfeld.
Die Forscher vermuten, dass das Herausfiltern unveränderlicher und wahrscheinlich unwichtiger Hintergrundbildelemente die außergewöhnliche Mustererkennung des biologischen Sehens unter Verwendung begrenzter neuronaler Ressourcen ermöglicht.
In Tests induzierte die Beleuchtung von Arrays dieser ereignisgesteuerten Pixel mit symbolischen Grafiken und Handgesten unterschiedlicher Dynamik Spitzenmuster, die ausreichend Informationen für die anschließende Klassifizierung mit einfacher neuronaler Netzwerkverarbeitung enthielten.
Beispielsweise ermöglichte die Umwandlung der Fingerschreibweise der amerikanischen Gebärdensprache in Spikes eine schnelle neuronale Netzwerkidentifizierung von vier verschiedenen Buchstaben mit nur 50 Trainingsbeispielen pro Buchstabe. Bezeichnenderweise erreichten etablierte Deep-Learning-Techniken eine vergleichbare Genauigkeit erst nach der Verarbeitung umfangreicher Bildsequenzen von weitaus leistungsintensiveren Digitalkameras und Grafikprozessoren.
Bei der Auswertung ihres Systems anhand eines standardisierten menschlichen Aktivitätsdatensatzes extrahierten die Spike-Fotodetektorpixel ebenfalls angemessene Haltungs- und Bewegungsnuancen aus nur vier spärlichen binären Silhouettenbildern pro Video. Die Einspeisung dieser komprimierten Spitzendarstellungen von Aktionen wie Springen und Winken in einen grundlegenden neuronalen Netzwerkklassifikator ermöglichte eine Erkennung mit einer Genauigkeit von 90 % nach nur fünf Trainingsepochen. Um diesen Benchmark zu erreichen, müssen in der Regel Tausende von hochauflösenden Videostandbildern mit aufwändig entwickelten tiefen neuronalen Netzen analysiert werden.
Um Bilderkennungsaufgaben zu bewältigen, baute das Team seine bioinspirierten Schaltkreise aus, indem es synaptische Geräte integrierte, die zuvor für die Verstärkung neuromorpher Prozessoren entwickelt wurden. Diese künstlichen Synapsen ahmen die einstellbare Verbindungsstärke zwischen biologischen Neuronen nach und bieten ein einstellbares Gedächtnis, um das Lernen zu ermöglichen. Durch die Anwendung von Programmierimpulsen gewichteten die Forscher die Synapsen, die Spitzen von den Fotodetektoren erhielten, entsprechend und brachten dem Netzwerk bei, grundlegende Form- und Bewegungsmusterkombinationen zu klassifizieren. Deutliche Unterschiede in den Synapsenleitfähigkeitswerten nach dem Training entsprachen eindeutigen Identifizierungsmerkmalen innerhalb optischer Reize.
Insgesamt zeigen die Ergebnisse große Fortschritte auf dem Weg zu effizientem neuromorphem Computing unter Nutzung der Designprinzipien des Gehirns. Die ereignisgesteuerte Informationsdarstellung behebt wichtige Einschränkungen beim Einsatz künstlicher Intelligenz auf mobilen Plattformen und anderen Kontexten mit begrenzter Leistung. Zukünftig wollen die Forscher ihre Spike-Architektur für praktische Bildverarbeitungsanwendungen weiterentwickeln.
Mit erweiterten Arrays mit höherer Auflösung zur Erfassung umfangreicherer visueller Daten mit Bildraten, die der menschlichen Wahrnehmung entsprechen, könnten von Biologen inspirierte Bildverarbeitungssysteme allgegenwärtig werden.
Eine optimierte Spike-basierte Datenübertragung verschiedener vorhandener Sensoren würde die Lücke zu biologischen Kapazitäten weiter schließen. Für autonome Fahrzeugnavigation, Augmented-Reality-Schnittstellen, Robotik und andere Bereiche, von denen erwartet wird, dass sie das zukünftige Nachfragewachstum nach Computer-Vision-Hardware vorantreiben, sind gleichzeitige Verbesserungen der Leistungsfähigkeit und Effizienz nach wie vor unerlässlich.
– Michael ist Autor von drei Büchern der Royal Society of Chemistry:
Nano-Gesellschaft: Grenzen der Technologie überschreiten,
Nanotechnologie: Die Zukunft ist winzig und
Nanoengineering: Die Fähigkeiten und Werkzeuge, die Technologie unsichtbar machen
Copyright ©
Nanowerk LLC
Werden Sie Spotlight-Gastautor! Schließen Sie sich unserer großen und wachsenden Gruppe von an Gastbeitragende. Haben Sie gerade eine wissenschaftliche Arbeit veröffentlicht oder haben Sie andere aufregende Entwicklungen, die Sie der Nanotechnologie-Community mitteilen möchten? Hier erfahren Sie, wie Sie auf nanowerk.com veröffentlichen.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://www.nanowerk.com/spotlight/spotid=64666.php
