Analyse Quantencomputing liegt seit über einem Jahrzehnt noch in weiter Ferne, aber laut Branchenexperten könnte es das Geheimnis sein, den unstillbaren Appetit der KI einzudämmen.
Mit jedem Monat erscheinen größere Modelle mit mehr Parametern und der Umfang der KI-Einsätze nimmt gleichzeitig zu. Allein in diesem Jahr planen Hyperscaler wie Meta dies einsetzen Hunderttausende Beschleuniger. Sogar noch OpenAI-Gründer Sam Altman ist es überzeugt Wir werden exponentiell mehr Rechenleistung benötigen, wenn wir die KI weiterentwickeln wollen.
Daher sollte es nicht überraschen, dass mit seinem neuesten Mitarbeiter, OpenAI würde wird seine Wetten auf Quantencomputing absichern, wann immer es möglich ist. Letzte Woche hat der KI-Moloch Ben Bartlett, einen ehemaligen Quantensystemarchitekten bei PsiQuantum, in seine Reihen aufgenommen.
Wir haben uns an Open AI gewandt, um mehr darüber zu erfahren, was Bartlett beim KI-Trendsetter tun wird, und haben noch keine Antwort erhalten. Allerdings sein Bio gibt einige Hinweise, da sich ein Großteil seiner Forschung auf die Schnittstelle zwischen Quantenphysik, maschinellem Lernen und Nanophotonik konzentriert und „im Wesentlichen darin besteht, dass ich kleine Rennbahnen für Photonen entwerfe, die sie dazu verleiten, nützliche Berechnungen durchzuführen.“
Was genau könnte sich OpenAI also von einem Quantenphysiker wünschen? Nun, es gibt einige Möglichkeiten, die von der Verwendung von Quantenoptimierung zur Optimierung von Trainingsdatensätzen oder der Verwendung von Quantenverarbeitungseinheiten (QPUs) zur Auslagerung komplexer Graphdatenbanken bis hin zur Verwendung von Optiken reichen, um über die Grenzen moderner Halbleiterverpackungen hinaus zu skalieren.
Neuronale Netze sind nur ein weiteres Optimierungsproblem
Quantencomputing hat das Potenzial, die Effizienz des Trainings großer KI-Modelle drastisch zu verbessern und es ihnen zu ermöglichen, genauere Antworten aus Modellen mit weniger Parametern abzuleiten, erklärt Murray Thom von D-Wave Das Register.
Da Gerüchten zufolge GPT-4 über eine Billion Parameter verfügt, ist es nicht schwer zu erkennen, warum dies attraktiv sein könnte. Ohne auf Quantisierung und andere Komprimierungsstrategien zurückzugreifen, benötigen KI-Modelle etwa 1 GB Speicher für jede Milliarde Parameter, wenn sie mit FP8- oder Int8-Präzision und bei höheren Genauigkeiten ausgeführt werden, deutlich mehr.
Billionen Parametermodelle nähern sich den Grenzen dessen, was ein einzelner KI-Server effizient bewältigen kann. Zur Unterstützung größerer Modelle können mehrere Server aneinandergereiht werden, allerdings führt das Belassen der Box zu Leistungseinbußen.
Und das ist heute. Und wenn Altman Recht hat, werden diese Modelle nur noch größer und verbreiteter. Daher könnte jede Technologie, die es OpenAI ermöglichen könnte, die Leistungsfähigkeit seiner Modelle zu steigern, ohne gleichzeitig die Parameteranzahl wesentlich zu erhöhen, ihm einen Vorsprung verschaffen.
„Wenn Sie ein Modell trainieren, bestimmt die Anzahl der in das Modell einfließenden Parameter die Kosten und die Komplexität des Modelltrainings“, erklärt Trevor Lanting, Vizepräsident für Software und Algorithmen bei D-Wave Das Register.
Um dies zu umgehen, erklärt er, wählen Entwickler häufig Funktionen aus, die ihrer Meinung nach für das Training dieses bestimmten Modells am wichtigsten sind, was wiederum die Anzahl der erforderlichen Parameter verringert.
Doch anstatt dies mit herkömmlichen Systemen zu versuchen, argumentiert D-Wave, dass Quantenoptimierungsalgorithmen möglicherweise effektiver bei der Bestimmung sind, welche Funktionen weggelassen oder weggelassen werden sollten.
Falls Sie sich nicht auskennen: Optimierungsprobleme, wie sie häufig in der Wegfindung oder Logistik auftreten, haben sich bislang als eine der vielversprechendsten Anwendungen des Quantencomputings erwiesen.
„Was unsere Quantencomputer wirklich gut können, ist die Optimierung von Dingen, bei denen Dinge entweder passieren oder nicht passieren: etwa wenn jemandem ein bestimmter Zeitplan oder eine bestimmte Lieferung zugewiesen wird“, sagte Thom. „Wenn diese Entscheidungen unabhängig wären, wäre das in Ordnung und wäre für einen klassischen Computer einfach zu treffen, aber sie wirken sich tatsächlich auf die anderen Ressourcen im Pool aus und es gibt eine Art Netzwerkeffekt.“
Mit anderen Worten: Die reale Welt ist chaotisch. Möglicherweise sind mehrere Fahrzeuge unterwegs, Straßensperrungen, Wetterereignisse usw. Im Vergleich zu klassischen Computern ermöglichen die einzigartigen Eigenschaften von Quantencomputern, diese Faktoren gleichzeitig zu untersuchen, um den besten Weg zu ermitteln.
Dies „ist völlig analog zu einem neuronalen Netzwerk, in dem die Neuronen entweder feuern oder nicht feuern und sie synaptische Verbindungen zu den anderen Neuronen haben, die die anderen Neuronen entweder anregen oder am Feuern hindern“, erklärt Thom.
Und das bedeutet, dass Quantenalgorithmen verwendet werden können, um KI-Trainingsdatensätze für bestimmte Anforderungen zu optimieren, was beim Training zu einem schlankeren, genaueren Modell führt, behauptete Lanting.
Quantenprobenentnahme und -entladung
Längerfristig suchen D-Wave und andere nach Möglichkeiten, QPUs tiefer in den Trainingsprozess zu integrieren.
Einer dieser Anwendungsfälle ist die Anwendung von Quantencomputern auf die Probenentnahme. Unter Stichproben versteht man die Art und Weise, wie KI-Modelle wie LLMs anhand einer Wahrscheinlichkeitsverteilung bestimmen, wie das nächste Wort, oder genauer gesagt, das nächste Token aussehen soll. Aus diesem Grund wird oft gescherzt, dass LLMs bei Steroiden nur eine automatische Vervollständigung seien.
„Die Hardware eignet sich sehr gut für die Erzeugung von Samples, und man kann die Verteilung anpassen, sodass man die Gewichtung dieser Samples anpassen kann. Und was wir untersuchen, ist: Ist dies eine gute Möglichkeit, das Annealing-Quantencomputing tatsächlich intensiver und direkter in die Trainingsarbeitslast einzubauen“, erklärte Lanting.
Das französische Quantencomputer-Startup Pasqal beschäftigt sich ebenfalls mit der Anwendung von Quantencomputern, um graphenstrukturierte Datensätze auszulagern, die häufig in neuronalen Netzen vorkommen.
„Beim maschinellen Lernen gibt es keine wirklich einfache Möglichkeit, die Daten klassisch darzustellen, da der Graph ein komplexes Objekt ist“, erklärte Loïc Henriet, Co-CEO von Pasqal, in einem Interview mit Das Register. „Man kann graphenstrukturierte Daten relativ natürlich in die Quantendynamik einbetten, was zu einigen neuen Möglichkeiten der Behandlung dieser Datenteile führt.“
Bevor dies jedoch erreicht werden kann, müssen Quantensysteme viel größer und viel schneller werden, erklärte Henriet.
„Große Datensätze sind im Moment nicht praktikabel“, sagte er. „Deshalb treiben wir die Zahl der Qubits voran; die Wiederholungsrate. Denn mit mehr Qubits kann man mehr Daten einbetten.“
Es ist schwer zu sagen, wie lange wir warten müssen, bis neuronale Quantengraphennetze realisierbar werden. Pasqal verfügt bereits über ein 10,000-Qubit-System in den Werken. Leider deuten Untersuchungen darauf hin, dass allein dafür mehr als 10,000 fehlerkorrigierende Qubits oder etwa eine Million physikalische Qubits erforderlich sein werden konkurrieren mit modernen GPUs.
Ein Silizium-Photonik-Spiel?
Abgesehen von exotischen Quanten-KI-Anwendungsfällen gibt es andere Technologien, die OpenAI verfolgen könnte, für die Bartlett zufällig ein Experte ist.
Vor allem Bartletts früherer Arbeitgeber PsiQuantum hat Systeme entwickelt, die auf Siliziumphotonik basieren. Dies deutet darauf hin, dass seine Einstellung mit OpenAIs zusammenhängen könnte berichtet Arbeiten Sie an einem benutzerdefinierten KI-Beschleuniger.
Mehrere Silizium-Photonik-Startups, darunter Ayar Labs, Lightmatter und Celestial AI, haben die Technologie als Mittel zur Überwindung von Bandbreitenbeschränkungen vorangetrieben, die zu einem limitierenden Faktor bei der Skalierung der Leistung maschinellen Lernens geworden sind.
Die Idee dabei ist, dass man mit Licht viel mehr Daten über eine viel längere Distanz übertragen kann als mit einem rein elektrischen Signal. Bei vielen dieser Designs wird das Licht tatsächlich von in das Silizium geätzten Wellenleitern transportiert, was sehr nach dem Entwerfen kleiner Rennstrecken für Photonen klingt.
Lichtsache glaubt, Mit dieser Technologie können mehrere Beschleuniger als einer arbeiten, ohne dass Bandbreiteneinbußen für Daten entstehen, die den Chip verlassen. Währenddessen sieht Celestial eine Gelegenheit Dadurch wird die Menge an Speicher mit hoher Bandbreite, die GPUs zur Verfügung steht, erheblich erhöht, indem die Notwendigkeit entfällt, die Module direkt neben dem Beschleuniger-Chip zusammen zu packen. Beide Fähigkeiten wären für ein Unternehmen attraktiv, das in großem Umfang mit KI-Systemen arbeitet.
Es bleibt abzuwarten, ob OpenAI letztendlich Quanten-KI oder Silizium-Photonik verfolgen wird, aber für ein Unternehmen, dessen Gründer langfristige Investitionen nicht fremd ist, wäre dies nicht das Seltsamste, was Altman unterstützt hat. ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/
