Da Intel erst später in diesem Jahr eine Desktop-CPU mit KI-Funktionen plant, wenden sich PC-Hersteller stattdessen an Chip-Startups – und die Zukunft könnte im Lenovo ThinkCentre Neo Ultra liegen, möglicherweise mit KI-Karten von MemryX und Kinara im Inneren.

Lenovo wird den ThinkCentre Neo Ultra im Juni für etwa 1,000 US-Dollar auf den Markt bringen, sagte Produktmanager Bryan Lin am Lenovo-Stand auf der CES 2024. Obwohl die Dokumentation von Lenovo offiziell keinen der KI-Prozessoren enthält, ist dies wahrscheinlich. Und der kleine Desktop zur Inhaltserstellung war auf der CES und stellte beide KI-Karten vor.

Während AMD, Intel und Qualcomm alle nur mobile Prozessoren mit integrierten KI-NPUs gezeigt haben AMD hat einen Desktop-Ryzen-Prozessor mit einer APU im Inneren angekündigt. Intel, das den dominierenden Anteil in der PC-Prozessorindustrie hält, muss bis zum Ende warten Start von Arrow Lake um eine NPU für Desktop-PC-Hersteller verfügbar zu machen.

Mittlerweile erkennen immer mehr PC-Hersteller, dass ein „KI-PC“ tatsächlich nur aus einer CPU und einer GPU konstruiert werden kann, während NPUs eine energieeffizientere KI bieten. Wenn Sie ein Desktop-PC-Hersteller sind und sich traditionell weniger Gedanken über den Stromverbrauch machen, kann das ausreichend sein. Aber Unternehmen, die KI zum Geldverdienen einsetzen wollen, wollen KI jetzt – und sie legen Wert darauf, den Stromverbrauch im großen Maßstab zu minimieren. Zumindest hier könnte der Business-Markt den Consumer-PCs überholen.

„Was wir jetzt sehen, ist, dass die diskrete Grafikkarte in Bezug auf Formfaktor und Leistung, thermisches Design usw. zu hungrig ist“, sagte Lin. „Eine NPU-Karte, die etwa 5 bis 10 Watt verbraucht, kann uns also ein gewisses Maß an KI-Fähigkeiten bieten.“

Aber was ist, wenn Arrow Lake debütiert?

„Bei Arrow Lake erlebe ich, dass die Leistung immer noch sehr begrenzt ist“, sagte Lin. „Ich denke also, dass diskrete [KI-Beschleuniger] in mindestens achtzehn bis vierundzwanzig Monaten immer noch ein Teil davon sein werden. Und vor allem für Desktops, wo es keine Einschränkungen durch den Akku gibt.“

Der ThinkCentre Neo Ultra wird bis zu einem Intel Core i9 vPro-Prozessor mit einer nicht genannten Architektur und bis zu 64 GB DDR5-5200-Speicher enthalten. Es wird außerdem eine Nvidia GeForce RTX 4060-GPU der Creator-Klasse, bis zu 4 TB SSD-Speicher und ein internes 350-W-Netzteil enthalten. Es handelt sich um ein 3.6-Liter-Chassis mit den Maßen 7.67 x 7.67 x 4.21 Zoll.

Lenovo verfügt über eine sogenannte KI-Engine, die Arbeitslasten dorthin leitet, wo sie am besten passt, sagte Lin.

Lin sagte, dass das Unternehmen mit einer Reihe von KI-Chip-Startups zusammenarbeitet, darunter MemryX und Kinara, die beiden KI-Chip-Unternehmen, die am Stand vorgestellt werden.

Lernen Sie MemryX kennen, einen der ersten KI-Beschleuniger

MemryX stellt den MX3 Edge AI Accelerator her. Das Software-Entwicklungskit des Unternehmens und das, was Lenovo im ThinkCentre präsentiert, besteht aus vier MX3-Chips, die auf einer M.2-PCI-Express-Karte (Gen3, etwas überraschend) montiert sind, obwohl es auch in einer USB-3.2-USB-Karte laufen kann .

MemryX bewertet jeden MX3 als fähig zu 10 TFLOPs (Billionen Gleitkommaoperationen) anstelle der konventionelleren TOPS – das sind 40 TFLOPS pro Karte, mit 4 Chips pro Karte. Laut Roger Peene, Vizepräsident für Produkt- und Geschäftsentwicklung bei MemryX, liegt das daran, dass MX3 standardmäßig auf 16-Bit-Gleitkommaoperationen und 8-Bit-Gewichtungen setzt und nicht auf Ganzzahloperationen, die eine häufigere Metrik darstellen.

„Wenn es die Möglichkeit gibt, diskrete Lösungen zu nutzen, wird jeder sie nutzen, bis Intel oder AMD sie integrieren“, sagte Peene. „Jeder kennt also den Rückstand von Intel … Sie haben ihr Marketing verstärkt. Sie sind offensichtlich nicht glücklich darüber, dass Lenovo ein Startup für die Ausführung von KI auf einem PC ausgewählt hat. Das ist also sozusagen die Geschichte.“

Jeder MX3 verbraucht durchschnittlich 1 bis 2 Watt, sagte Peene. Die Chips unterstützen Linux, Android und Windows sowie die Frameworks TensorFlow, TensorFlow-lite, PyTorch, ONNX und Keras.

Jeder Chip kann ein Modell mit 10 Millionen 8-Bit-Parametern ausführen, die nach Bedarf skaliert werden. Im Auslieferungszustand kann der MX3 YOLO v7 tiny mit 416×416, 375fps (x2) ohne Beschneidung oder Training oder SSDMobileNet (224×224) mit 1403fps ausführen.

Wir hatten keine Gelegenheit, mit Kinara zu sprechen, obwohl das Unternehmen ins Leben gerufen seinen Ara-2 Edge AI-Prozessor im vergangenen Herbst. „Als Beispiel für seine Fähigkeiten zur Verarbeitung generativer KI-Modelle kann Ara-2 10 Sekunden pro Bild für Stable Diffusion und Dutzende Token/Sekunde für LLaMA-7B erreichen“, sagte das Unternehmen in einer Pressemitteilung.

Sowohl der MemryX- als auch der Kinara-KI-Chip werden zunächst als KI für die Bilderkennung positioniert. Eine MemryX-Demo zeigt, wie er erkennen kann, ob Bauarbeiter die richtige Schutzausrüstung angelegt haben. Dennoch kann KI für alle möglichen Zwecke verwendet werden: Spiele, Avatare, lokale Sprachmodelle/Chatbots und mehr.

Wichtiger ist jedoch, dass Unternehmen wie Nvidia, Rendition, 3Dfx und andere vor Jahren als 3D-Beschleuniger gestartet sind – und nun, nachdem einige auf der Strecke geblieben sind, die Content-Erstellungs- und Spielebranche dominieren. Erwarten Sie eine neue Welle von KI-Beschleunigerkarten, die sie herausfordern werden.

Erläuterung: Der MemryX MX3 ist in der Lage, 10 TFLOPS pro Chip oder 40 pro Karte zu erreichen.