Während KI in einigen Chip-Design-Workflows Einzug hält – was zu neuronalen Netzen führt, die dabei helfen, bessere Prozessoren für neuronale Netze zu entwickeln – hat Nvidia gezeigt, was in diesem Bereich mit Chatbots getan werden kann.

Sie erinnern sich vielleicht an Google Verwendung von Es heißt, dass es sich dabei um maschinelles Lernen handelt, um seine TPU-Beschleunigerfamilie zu verbessern, und um Unternehmen wie Synopsis und Cadence, die Software-Suiten für das Design von Chips herstellen Backen KI in ihre Apps integrieren. Nvidia hat gesprochen von GPU-beschleunigte Lithografie-Werkzeuge und hat nun etwas Ähnliches demonstriert: ein großes Sprachmodell, das als Assistent für Halbleiteringenieure fungieren kann.

Ein Papier emittiert [PDF] von Nvidia am Montag, beschreibt wie diese generative KI beim Design und der Entwicklung zukünftiger Chips eingesetzt werden könnte. Soweit wir wissen, wurde diese KI nicht veröffentlicht; Es scheint, dass der GPU-Riese hofft, dass die Forschung als Leitfaden oder Inspiration für diejenigen dienen wird, die über den Aufbau eines solchen Chat-Systems oder ähnlicher Bots nachdenken.

Der Entwurf eines Mikroprozessors ist ein komplexer Prozess, an dem mehrere Teams beteiligt sind, die jeweils an unterschiedlichen Aspekten eines Entwurfs arbeiten. Um zu demonstrieren, wie dieser Prozess unterstützt werden kann, beauftragte ein Team von Nvidia-Forschern die Tests des Unternehmens NeMo-Framework Um ein Basismodell mit 43 Milliarden Parametern mithilfe von Daten anzupassen, die für das Design und die Entwicklung von Chips relevant sind, soll ein Trainingssatz mehr als eine Billion Token umfassen – wobei diese Token jeweils Teile von Wörtern und Symbolen darstellen.

Laut Nvidia wurde dieses Modell im Laufe von zwei Trainingsrunden weiter verfeinert, wobei die erste interne Designdaten im Wert von 24 Milliarden Token und die zweite 130,000 Konversations- und Designbeispiele umfasste.

Anschließend verwendeten die Forscher diese resultierenden ChipNeMo-Modelle – eines mit sieben Milliarden, das andere mit 13 Milliarden Parametern –, um drei KI-Anwendungen zu betreiben, darunter ein Paar, das ChatGPT und GitHub Copilot ähnelt. Diese funktionieren so, wie Sie es erwarten würden – tatsächlich verhalten sie sich ziemlich ähnlich wie herkömmliche virtuelle Assistenten –, wurden jedoch so zugeschnitten, dass sie Ergebnisse liefern, die sich auf einen engeren Satz von Daten beziehen, die speziell für das Halbleiterdesign und die Halbleiterentwicklung spezifisch sind.

Um die Flusen zu vermeiden, finden Sie Anwendungsbeispiele auf den Seiten 16 und 17 des obigen Artikels. Dazu gehört die Verwendung der Bots zum Generieren von System-Verilog-Code – einer Hardware-Designsprache, die zum Entwerfen von Chip-Logik verwendet wird – aus Abfragen; Beantworten Sie Fragen zum Prozessordesign und zu Testtechniken. Schreiben Sie Skripte, um Schritte im Designprozess zu automatisieren. und Fehlerberichte auf Siliziumebene erstellen und analysieren.

Letztendlich schien es das Ziel zu sein, zu zeigen, dass generative KI für mehr als nur das Schreiben von normalem App-Code, schlechten Gedichten und das Abzocken von Illustratoren verwendet werden kann: Sie kann Verilog und andere Dinge im Zusammenhang mit der Halbleitertechnik produzieren. Angesichts der Komplexität des Chipdesigns würde man hoffen, dass Ingenieure, die an solchen Dingen arbeiten, keinen ML-Assistenten benötigen, aber das ist die Welt, in der wir jetzt leben, nehmen wir an.

Und natürlich würde Nvidia hoffen, dass Sie seine GPUs und Software nutzen, um diese Art von Systemen zu trainieren und zu betreiben.

„Diese Bemühungen stellen einen wichtigen Schritt bei der Anwendung von LLMs auf die komplexe Arbeit des Halbleiterdesigns dar“, sagte Bill Dally, Chefwissenschaftler von Nvidia. „Es zeigt, wie selbst hochspezialisierte Fachgebiete ihre internen Daten nutzen können, um nützliche generative KI-Modelle zu trainieren.“

Während die Forscher gezeigt haben, wie generative KI bei der Erleichterung des Halbleiterdesigns nützlich sein könnte, wird der Prozess immer noch maßgeblich vom Menschen vorangetrieben. Nvidia wies darauf hin, dass bei der Bereinigung und Organisation der Trainingsdaten sorgfältig vorgegangen werden müsse. Und wer auch immer mit der Ausgabe umgeht, muss kompetent genug sein, um sie zu verstehen, fügen wir hinzu.

Nvidia stellte außerdem fest, dass durch die Einschränkung des Umfangs des kleineren KI-Modells eine bessere Leistung im Vergleich zu Allzweck-LLMs wie Llama 2 70B erzielt werden konnte, wobei nur ein Bruchteil der Parameter verwendet wurde. Dieser letzte Punkt ist wichtig, da kleinere Modelle im Allgemeinen weniger Ressourcen zum Trainieren und Ausführen benötigen.

Mit Blick auf die Zukunft erwartet Mark Ren, der Nvidia-Forscher, der das Projekt leitete, dass KI eine größere Rolle in der fortschrittlichen Chipentwicklung spielen wird. „Ich glaube, dass große Sprachmodelle im Laufe der Zeit alle Prozesse auf ganzer Linie unterstützen werden“, sagte er.

Dies ist nicht Nvidias erste Anwendung von beschleunigtem Rechnen und maschinellem Lernen im Dienste der Halbleiterentwicklung. CEO Jensen Huang spricht schon seit einiger Zeit über das Konzept.

„Die Chipherstellung ist eine ideale Anwendung für beschleunigtes Nvidia- und KI-Computing“, sagte er während der ITF-Halbleiterveranstaltung Konferenz im Mai.

Wie wir Anfang dieses Jahres erfahren haben, werden Nvidia-GPUs bereits von Unternehmen wie TSMC, ASML und Synopsys verwendet, um die Rechenlast von Lithografie-Workloads zu beschleunigen, während KLA Group, Applied Materials und Hitachi Nvidia-GPUs verwenden, um Deep-Learning-Code für E-Mails auszuführen. Strahl- und optische Waferinspektion. ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2023/11/01/nvidia_ai_chatbot/