KI-Modelle sind Stromfresser.

Da die Algorithmen wachsen und komplexer werden, belasten sie die aktuellen Computerchips zunehmend. Mehrere Unternehmen haben auf KI zugeschnittene Chips entwickelt, um den Stromverbrauch zu reduzieren. Aber sie basieren alle auf einer Grundregel: Sie verbrauchen Strom.

Diesen Monat hat ein Team der Tsinghua-Universität in China das Rezept geändert. Sie baute einen neuronalen Netzwerkchip das Licht statt Strom nutzt, um KI-Aufgaben zu einem Bruchteil der Energiekosten auszuführen NVIDIAs H100, ein hochmoderner Chip zum Trainieren und Ausführen von KI-Modellen.

Der Taichi genannte Chip kombiniert zwei Arten der lichtbasierten Verarbeitung in seiner inneren Struktur. Im Vergleich zum Vorgänger optische ChipsTaichi ist bei relativ einfachen Aufgaben wie dem Erkennen handgeschriebener Zahlen oder anderer Bilder weitaus genauer. Im Gegensatz zu seinen Vorgängern kann der Chip auch Inhalte generieren. Es können einfache Bilder in einem Stil erstellt werden, der beispielsweise auf dem niederländischen Künstler Vincent van Gogh basiert, oder klassische Musiknummern, die von Johann Sebastian Bach inspiriert sind.

Ein Teil der Effizienz von Taichi ist auf seine Struktur zurückzuführen. Der Chip besteht aus mehreren Komponenten, sogenannten Chiplets. Ähnlich wie bei der Organisation des Gehirns führt jedes Chiplet parallel seine eigenen Berechnungen durch, deren Ergebnisse dann mit den anderen integriert werden, um eine Lösung zu finden.

Angesichts der Herausforderung, Bilder in über 1,000 Kategorien zu trennen, war Taichi in fast 92 Prozent der Fälle erfolgreich und erreichte die aktuelle Chipleistung, senkte jedoch den Energieverbrauch um mehr als das Tausendfache.

Für KI sei „der Trend zur Bewältigung komplexerer Aufgaben unumkehrbar“, schreiben die Autoren. „Taichi ebnet den Weg für groß angelegte photonische [lichtbasierte] Datenverarbeitung“, was zu einer flexibleren KI mit geringeren Energiekosten führt.

Chip an der Schulter

Heutige Computerchips passen nicht gut zur KI.

Ein Teil des Problems ist struktureller Natur. Verarbeitung und Speicher sind auf herkömmlichen Chips physisch getrennt. Der Datenaustausch zwischen ihnen nimmt enorm viel Energie und Zeit in Anspruch.

Während das Setup für die Lösung relativ einfacher Probleme effizient ist, ist es unglaublich leistungshungrig, wenn es um komplexe KI geht, wie etwa die großen Sprachmodelle, die ChatGPT antreiben.

Das Hauptproblem besteht darin, wie Computerchips hergestellt werden. Jede Berechnung basiert auf Transistoren, die ein- oder ausgeschaltet werden, um die in den Berechnungen verwendeten Nullen und Einsen darzustellen. Ingenieure haben die Transistoren im Laufe der Jahrzehnte drastisch verkleinert, damit sie immer mehr auf Chips unterbringen können. Aber die aktuelle Chip-Technologie nähert sich einem Bruchpunkt, an dem wir nicht mehr kleiner werden können.

Wissenschaftler versuchen seit langem, aktuelle Chips zu überarbeiten. Eine vom Gehirn inspirierte Strategie basiert auf „Synapsen“ – den biologischen „Docks“, die Neuronen verbinden –, die Informationen am selben Ort berechnen und speichern. Diese vom Gehirn inspirierten oder neuromorphen Chips senken den Energieverbrauch und beschleunigen Berechnungen. Aber wie aktuelle Chips sind sie auf Strom angewiesen.

Eine andere Idee besteht darin, einen ganz anderen Rechenmechanismus zu verwenden: Licht. „Photonisches Computing“ erregt „immer größere Aufmerksamkeit“, schreiben die Autoren. Anstatt Elektrizität zu verwenden, könnte es möglich sein, Lichtteilchen zu kapern, um KI mit Lichtgeschwindigkeit anzutreiben.

Let There Be Light

Im Vergleich zu strombasierten Chips verbraucht Licht deutlich weniger Strom und kann mehrere Berechnungen gleichzeitig durchführen. Wissenschaftler haben sich diese Eigenschaften zunutze gemacht und optische neuronale Netze aufgebaut, die anstelle von Elektrizität Photonen – Lichtteilchen – für KI-Chips nutzen.

Diese Chips können auf zwei Arten funktionieren. In einem Fall streuen Chips Lichtsignale in konstruierte Kanäle, die die Strahlen schließlich kombinieren, um ein Problem zu lösen. Diese als Beugung bezeichneten optischen neuronalen Netze packen künstliche Neuronen eng aneinander und minimieren die Energiekosten. Sie können jedoch nicht einfach geändert werden, was bedeutet, dass sie nur an einem einzigen, einfachen Problem arbeiten können.

Ein anderer Aufbau hängt von einer anderen Eigenschaft des Lichts ab, die als Interferenz bezeichnet wird. Wie Meereswellen verbinden sich Lichtwellen und heben sich gegenseitig auf. Wenn sie sich in Mikrotunneln auf einem Chip befinden, können sie kollidieren, um sich gegenseitig zu verstärken oder zu hemmen – diese Interferenzmuster können für Berechnungen verwendet werden. Auf Interferenz basierende Chips können mit einem Gerät namens Interferometer leicht neu konfiguriert werden. Das Problem ist, dass sie körperlich sperrig sind und Unmengen an Energie verbrauchen.

Dann gibt es noch das Problem der Genauigkeit. Selbst in den geformten Kanälen, die häufig für Interferenzexperimente verwendet werden, wird Licht reflektiert und gestreut, was die Berechnungen unzuverlässig macht. Für ein einzelnes optisches neuronales Netzwerk sind die Fehler tolerierbar. Aber bei größeren optischen Netzwerken und komplexeren Problemen steigt das Rauschen exponentiell an und wird unhaltbar.

Aus diesem Grund lassen sich lichtbasierte neuronale Netze nicht einfach skalieren. Bisher konnten sie nur grundlegende Aufgaben lösen, etwa das Erkennen von Zahlen oder Vokalen.

„Eine Vergrößerung des Maßstabs bestehender Architekturen würde die Leistung nicht proportional verbessern“, schrieb das Team.

Double Trouble

Die neue KI Taichi kombinierte die beiden Eigenschaften, um optische neuronale Netze in die Praxis umzusetzen.

Anstatt ein einzelnes neuronales Netzwerk zu konfigurieren, verwendete das Team eine Chiplet-Methode, die verschiedene Teile einer Aufgabe an mehrere Funktionsblöcke delegierte. Jeder Block hatte seine eigenen Stärken: Einer wurde zur Analyse der Beugung eingerichtet, wodurch große Datenmengen in kurzer Zeit komprimiert werden konnten. In einen weiteren Block waren Interferometer eingebettet, um für Interferenzen zu sorgen, sodass der Chip zwischen Aufgaben problemlos neu konfiguriert werden konnte.

Im Vergleich zum Deep Learning verfolgte Taichi einen „flachen“ Ansatz, bei dem die Aufgabe auf mehrere Chiplets verteilt wird.

Bei standardmäßigen Deep-Learning-Strukturen häufen sich Fehler über mehrere Schichten und über einen längeren Zeitraum hinweg an. Dieses Setup erstickt Probleme, die durch die sequentielle Verarbeitung entstehen, im Keim. Wenn ein Problem auftritt, verteilt Taichi die Arbeitslast auf mehrere unabhängige Cluster und erleichtert so die Bewältigung größerer Probleme mit minimalen Fehlern.

Die Strategie hat sich ausgezahlt.

Taichi verfügt über die Rechenkapazität von insgesamt 4,256 künstlichen Neuronen, wobei fast 14 Millionen Parameter die Gehirnverbindungen nachahmen, die Lernen und Gedächtnis kodieren. Beim Sortieren von Bildern in 1,000 Kategorien war der photonische Chip zu fast 92 Prozent genau, vergleichbar mit „derzeit beliebten elektronischen neuronalen Netzen“, schrieb das Team.

Der Chip schnitt auch bei anderen Standard-KI-Bilderkennungstests hervorragend ab, beispielsweise bei der Identifizierung handgeschriebener Zeichen aus verschiedenen Alphabeten.

Als letzten Test stellte das Team die photonische KI vor die Herausforderung, Inhalte im Stil verschiedener Künstler und Musiker zu erfassen und nachzubilden. Beim Training mit Bachs Repertoire lernte die KI schließlich die Tonhöhe und den Gesamtstil des Musikers. Ebenso Bilder von van Gogh oder Edvard Munch – dem Künstler hinter dem berühmten Gemälde, Der Schrei– Eingespeist in die KI, konnte sie Bilder in einem ähnlichen Stil erzeugen, obwohl viele wie die Erholung eines Kleinkindes aussahen.

Optische neuronale Netze haben noch viel vor sich. Bei breiter Anwendung könnten sie jedoch eine energieeffizientere Alternative zu aktuellen KI-Systemen sein. Taichi ist über 100-mal energieeffizienter als frühere Iterationen. Der Chip benötigt jedoch immer noch Laser für Energie- und Datenübertragungseinheiten, die schwer zu verdichten sind.

Als nächstes hofft das Team, leicht verfügbare Minilaser und andere Komponenten in einen einzigen, zusammenhängenden photonischen Chip zu integrieren. In der Zwischenzeit hoffen sie, dass Taichi „die Entwicklung leistungsfähigerer optischer Lösungen beschleunigen“ wird, die schließlich zu „einer neuen Ära“ leistungsstarker und energieeffizienter KI führen könnten.

Bild-Kredit: spainter_vfx / Shutterstock.com

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/