Expedera bietet anpassbare Halbleiter-IP für neuronale Engines, die Leistung, Leistung und Latenz drastisch verbessern und gleichzeitig Kosten und Komplexität in Edge-KI-Inferenzanwendungen reduzieren. Da ist Mitbegründer und CEO von Expedera. Zuvor war er Mitbegründer und COO von Memoir Systems, einem Startup für optimierte Speicher-IP, was zu einer erfolgreichen Übernahme durch Cisco führte. Bei Cisco leitete er die Datacenter Switch ASICs für Nexus 3/9K-, MDS- und CSPG-Produkte. Da bringt mehr als 25 Jahre ASIC-Erfahrung bei Cisco, Nvidia und Abrizio mit. Er hat einen BS EECS von der UC Berkeley und einen MS/PhD EE von Stanford. Das Unternehmen hat seinen Hauptsitz in Santa Clara, Kalifornien, und verfügt über technische Entwicklungszentren und Kundendienstbüros im Vereinigten Königreich, China, Japan, Taiwan und Singapur.

Erzählen Sie uns ein wenig über sich und Ihr Unternehmen.

Mein Name ist Da Chuang und ich bin Mitbegründer und CEO von Expedera. Expedera wurde 2018 gegründet und hat sich den Ruf erworben, die führende anpassbare NPU-IP für Edge-Inferenzanwendungen von Edge-Knoten und Smartphones bis hin zur Automobilindustrie bereitzustellen. Unsere Origin NPU, jetzt in ihrer 4^thGenerationsarchitektur, unterstützt bis zu 128 TOPS in einem einzigen Kern und bietet gleichzeitig branchenführende Verarbeitungs- und Energieeffizienz für die unterschiedlichsten neuronalen Netze, einschließlich RNN, CNN, LSTM, DNN und LLMs.

-Was war der aufregendste Höhepunkt des Jahres 2023 für Ihr Unternehmen?

>>2023 war ein Jahr enormen Wachstums für Expedera. Wir haben unserem Unternehmen zwei neue physische Standorte hinzugefügt: Bath (Großbritannien) und Singapur. Beide Büros konzentrieren sich auf zukünftige Forschung und Entwicklung, die Entwicklung von KI-Architekturen der nächsten Generation sowie auf andere Dinge, von denen Sie in den kommenden Monaten und Jahren hören werden. Während das für uns sehr aufregend ist, war der vielleicht bedeutendste Höhepunkt für Expedera im Jahr 2023 unser Kunden- und Einsatzwachstum. Wir begannen das Jahr mit der Nachricht, dass unser IP in über 10 Millionen Verbrauchergeräten ausgeliefert wurde, was für jedes Halbleiter-IP-Startup eine bemerkenswerte Zahl ist. Im Laufe des Jahres haben wir unseren Kundenstamm weiter ausgebaut, zu dem nun weltweit erstklassige Smartphone-OEMs, Chipsätze für Verbrauchergeräte und Chiphersteller für die Automobilindustrie gehören. Unsere NPU-Lösung gilt weltweit als die beste auf dem Markt und Kunden kommen zu uns, wenn sie die absolut beste KI-Engine für ihre Produkte wünschen.

-Was war die größte Herausforderung für Ihr Unternehmen im Jahr 2023?

>>Die größte Herausforderung im Jahr 2023, zusammen mit der größten Chance, war das Aufkommen von Large Language Models (LLMs) und Stable Diffusion (SD) im Edge-KI-Bereich. LLMs/SD stellen einen Paradigmenwechsel in der KI dar – sie erfordern eine speziellere Verarbeitung und mehr Rechenleistung als die typischen CNN/RNN-Netzwerke, die die meisten Kunden im Jahr 2022 und davor eingesetzt haben. Es ist unglaublich, wie viele LLM/SD-basierte Anwendungen unsere Kunden implementieren. Die größte Herausforderung von LLMs und SD am Edge besteht jedoch darin, diesen Netzwerken den Betrieb innerhalb der Leistungs- und Leistungsgrenzen eines batteriebetriebenen Edge-Geräts zu ermöglichen.

-Wie bewältigt Ihr Unternehmen diese größte Herausforderung?

>> Unsere Kunden möchten Produkte anbieten, die KI-differenziert sind. Produkte, die dem Verbraucher einen echten Mehrwert mit einem fantastischen Benutzererlebnis bieten. Allerdings werden erhebliche Beeinträchtigungen der Akkulaufzeit als Teil des Benutzererlebnisses nicht akzeptiert. Da wir LLM- und SD-Unterstützung in unsere jetzt verfügbare Version 4 integriert haben^th Bei der Architektur unserer Generation konzentrierten wir uns beim Design darauf, die NPU-IP mit der höchsten Speichereffizienz, der höchsten Auslastung und der niedrigsten Latenz bereitzustellen, die wir überhaupt bauen konnten. Wir haben die zugrunde liegende Funktionsweise dieser neuen Netzwerktypen untersucht. Datenbewegungen, Weitergabe, Abhängigkeiten usw., um zu verstehen, wie wir unsere Hardware- und Softwarearchitekturen richtig weiterentwickeln können, um den zukünftigen Anforderungen optimal gerecht zu werden. Als Beispiel dafür, wie wir uns entwickelt haben, unsere 4^th Die Generationsarchitektur bietet neue Matrixmultiplikations- und Vektorblöcke, die für LLMs und SD optimiert sind, und behält gleichzeitig unsere marktführenden Verarbeitungseffizienzen in traditionellen RNN- und CNN-Netzwerken bei.

-Was wird Ihrer Meinung nach der größte Wachstumsbereich für 2024 sein und warum?

>> Einer unserer größten Wachstumsbereiche wird im Jahr 2024 die Unterstützung einer zunehmenden Vielfalt von KI-Einsätzen in Automobilen sein. Während die meisten wahrscheinlich mit der Verwendung von KI im autonomen Fahrstapel für visuell basierte Netzwerke vertraut sind, zeichnen sich noch viel mehr Möglichkeiten und Einsatzmöglichkeiten ab. Sicherlich erleben wir, wie in vielen anderen Märkten auch, einen rasanten Anstieg der LLM-Nutzung in Automobilen. Wir sehen jedoch auch einen zunehmenden Einsatz von KI in anderen Aspekten des Autos – Aufmerksamkeit des Fahrers, Erkennung von Rücksitzpassagieren, Infotainment, vorausschauende Wartung, Personalisierung und viele andere. All dies zielt darauf ab, dem Verbraucher das bestmögliche Benutzererlebnis zu bieten, einer der Hauptgründe für die Implementierung von KI. Allerdings variieren die KI-Verarbeitungsanforderungen all dieser Anwendungen erheblich, nicht nur in Bezug auf die tatsächlichen Leistungsfähigkeiten, sondern auch in Bezug auf die Arten neuronaler Netze, die der Anwendungsfall darstellt.

-Wie geht Ihr Unternehmen mit diesem Wachstum um?

>> Zusammen mit der oben genannten LLM- und SD-Unterstützung bietet Expederas 4^th Die Generationsarchitektur ist außerdem leicht anpassbar. Wenn Expedera ein neues Design-In mit einem Kunden durchführt, versuchen wir, alle Anwendungsbedingungen (Leistungsziele, erforderliche Netzwerkunterstützung, Bereichs- und Leistungsbeschränkungen, zukünftige Anforderungen und andere) zu verstehen, damit wir unser geistiges Eigentum im Wesentlichen bestmöglich anpassen können Geben Sie dem Kunden genau das, was er möchte, ohne Opfer für Dinge bringen zu müssen, die er nicht möchte. Wenn der Kunde eine zentralisierte, leistungsstarke Engine wünscht, die verschiedene Einsatzmöglichkeiten bietet und eine Vielzahl von Netzwerken unterstützt, können wir dies unterstützen. Wenn der Kunde dezentrale Engines einsetzen möchte, die nur bestimmte Aufgaben und Netzwerke übernehmen, können wir dies ebenfalls unterstützen – oder irgendwo dazwischen. Und das alles mit der gleichen IP-Architektur, ohne Nachteile bei der Markteinführungszeit.

-An welchen Konferenzen haben Sie im Jahr 2023 teilgenommen und wie war der Verkehr?

>>Expedera stellt auf einer Zielgruppe von Konferenzen aus, die sich auf Edge AI konzentrieren, darunter unter anderem auf dem Embedded Vision Summit und dem AI Hardware & AI Summit sowie auf größeren Veranstaltungen wie der CES. Der Verkehr bei diesen Veranstaltungen schien auf dem Niveau von 2022 zu liegen, also respektabel. KI ist heutzutage offensichtlich ein sehr heißes Thema in der Technologiewelt, und jedes Unternehmen sucht nach Möglichkeiten, KI in seine Produkte, Arbeitsabläufe und Designprozesse zu integrieren. Dementsprechend beobachten wir bei diesen Veranstaltungen eine immer größere Vielfalt an Teilnehmern, die alle unterschiedliche Bedürfnisse und Erwartungen haben.

-Werden Sie im Jahr 2024 an Konferenzen teilnehmen? Gleiches oder mehr?

>>2024 wird es voraussichtlich zu einer leichten Ausweitung unserer Konferenzpläne kommen, insbesondere derjenigen, die sich auf Technologie konzentrieren. Als Teil des Halbleiter-Ökosystems kann Expedera es sich nicht leisten, im luftleeren Raum zu existieren. Wir haben auf früheren Veranstaltungen über unsere Hardware- und Software-Stacks sowie über Implementierungen wie unsere sicherheitsorientierte, stets erkennende NPU für Smartphones gesprochen. Dieses Jahr werden wir viel Zeit damit verbringen, Edge-Implementierungen von LLMs im Detail zu beschreiben, auch auf kommenden Konferenzen später im Frühjahr. Wir freuen uns darauf, viele von Ihnen dort zu treffen!

Lesen Sie auch:

Expedera schlägt stabile Verbreitung als Maßstab für Edge-Hardware für KI vor

WEBINAR: Eine ideale neuronale Verarbeitungs-Engine für Always-Sensing-Bereitstellungen

Flächenoptimierte KI-Inferenz für kostensensitive Anwendungen

Teile diesen Beitrag über:

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://semiwiki.com/ip/342614-2024-outlook-with-da-chuang-of-expedera/