2024 Outlook med Da Chuang från Expedera - Semiwiki

Da Chuang 2

Expedera tillhandahåller anpassningsbar neuralmotor-halvledar-IP som dramatiskt förbättrar prestanda, kraft och latens samtidigt som kostnaden och komplexiteten i edge AI-inferensapplikationer minskar. Da är medgrundare och VD för Expedera. Tidigare var han medgrundare och COO för Memoir Systems, en optimerad minnes-IP-start, vilket ledde till ett framgångsrikt förvärv av Cisco. På Cisco ledde han Datacenter Switch ASIC för Nexus 3/9K, MDS, CSPG-produkter. Da har mer än 25 års ASIC-erfarenhet hos Cisco, Nvidia och Abrizio. Han har en BS EECS från UC Berkeley, MS/PhD EE från Stanford. Företaget har sitt huvudkontor i Santa Clara, Kalifornien, och har tekniska utvecklingscenter och kundsupportkontor i Storbritannien, Kina, Japan, Taiwan och Singapore.

Berätta lite om dig själv och ditt företag.

Jag heter Da Chuang, och jag är medgrundare och VD för Expedera. Expedera grundades 2018 och har byggt upp vårt rykte om att tillhandahålla den främsta anpassningsbara NPU IP för kantslutningsapplikationer från kantnoder och smartphones till bilindustrin. Vår Origin NPU, nu i sin 4^thgenerationsarkitektur, stöder upp till 128 TOPS i en enda kärna samtidigt som den tillhandahåller branschledande bearbetning och strömeffektivitet för det bredaste utbudet av neurala nätverk inklusive RNN, CNN, LSTM, DNN och LLM.

-Vilken var den mest spännande höjdpunkten 2023 för ditt företag?

>>2023 var ett år av enorm tillväxt för Expedera. Vi har lagt till två nya fysiska platser till vårt företag, Bath (Storbritannien) och Singapore. Båda dessa kontor är fokuserade på framtida FoU, utveckling av nästa generations AI-arkitekturer, plus andra saker du kommer att få höra om under de kommande månaderna och åren. Även om det är väldigt spännande för oss, var den kanske viktigaste höjdpunkten för Expedera 2023 vår kund- och implementeringstillväxt. Vi började året med nyheten att vår IP hade levererats i över 10 miljoner konsumentenheter, vilket är ett anmärkningsvärt antal för alla halvledar-IP-starter. Under hela året fortsatte vi att utöka vår kundbas, som nu inkluderar världsomspännande Tier 1-smartphone OEMs, chipset för konsumentenheter och chiptillverkare för bilar. Vår NPU-lösning är erkänd globalt som den bästa på marknaden och kunder kommer till oss när de vill ha den absolut bästa AI-motorn för sina produkter.

-Vilken var den största utmaningen ditt företag stod inför 2023?

>>Den största utmaningen under 2023, tillsammans med den största möjligheten, har varit framväxten av stora språkmodeller (LLMs) och Stable Diffusion (SD) i kanten av AI-utrymmet. LLMs/SD representerar ett paradigmskifte inom AI – de kräver mer specialiserad bearbetning och mer processorkraft än de typiska CNN/RNN-nätverk som de flesta kunder använde 2022 och tidigare. Det stora antalet LLM/SD-baserade applikationer som våra kunder implementerar har varit otroligt att se. Men den största utmaningen för LLM:er och SD på kanten har varit att låta dessa nätverk köras inom kraft- och prestandaramen för en batteridriven edge-enhet.

-Hur är ditt företags arbete med denna största utmaning?

>> Våra kunder vill presentera produkter som är AI-differentierade; produkter som ger verkligt värde till konsumenten med en fantastisk användarupplevelse. Men betydande träffar på batteritiden accepteras inte som en del av användarupplevelsen. När vi integrerade LLM- och SD-stöd i vår nu tillgängliga 4^th generationsarkitektur var vår designfokus fokuserad på att tillhandahålla den mest minneseffektiva, högsta utnyttjandet och lägsta latens NPU IP vi kunde bygga. Vi borrade i de underliggande funktionerna för dessa nya nätverkstyper; datarörelser, spridning, beroenden, etc... för att förstå det rätta sättet att utveckla vår både vår hårdvaru- och mjukvaruarkitektur för att bäst matcha framtida behov. Som ett exempel på hur vi hade utvecklats, vår 4^th generationsarkitektur har ny matrismultiplikation och vektorblock optimerade för LLM:er och SD, samtidigt som vår marknadsledande bearbetningseffektivitet bibehålls i traditionella RNN- och CNN-nätverk.

-Vad tror du att det största tillväxtområdet för 2024 blir, och varför?

>> Ett av våra största tillväxtområden är att 2024 kommer att stödja ett ökande utbud av AI-utbyggnader i bilar. Även om de flesta förmodligen är bekanta med användningen av AI i den autonoma körstapeln för visuellt baserade nätverk, finns det mycket fler möjligheter och användningsområden som dyker upp. Visst, vi ser LLM-användningen i bilar skjuta i höjden, precis som många andra marknader. Men vi ser också ökad användning av AI i andra aspekter av bilen – förarens uppmärksamhet, passagerardetektering i baksätet, infotainment, förutsägande underhåll, personalisering och många andra. Alla dessa syftar till att ge konsumenten bästa möjliga användarupplevelse, en av de viktigaste anledningarna till implementeringen av AI. AI-bearbetningsbehoven för alla dessa användningsområden varierar dock dramatiskt, inte bara i faktiska prestandamöjligheter utan också i de typer av neurala nätverk som användningsfallet presenterar.

-Hur är ditt företags arbete för att möta denna tillväxt?

>> Tillsammans med det tidigare nämnda LLM- och SD-stödet, Expederas 4^th generationsarkitektur är också lätt anpassningsbar. När Expedera engagerar sig i en ny design-in med en kund, försöker vi förstå alla applikationsvillkor (prestandamål, nätverksstöd som krävs, områdes- och effektbegränsningar, framtida behov och annat) så att vi på bästa sätt kan anpassa vår IP – i huvudsak , ge kunden precis vad de vill ha utan att behöva göra uppoffringar för saker de inte vill. Om kunden önskar en centraliserad, högpresterande motor som ger ett antal olika användningsområden och stöd för en mängd olika nätverk, kan vi stödja det. Om kunden vill distribuera decentraliserade motorer som endast hanterar specifika uppgifter och nätverk kan vi stödja det också – eller var som helst däremellan. Och det här är allt från samma IP-arkitektur, gjort utan tid-till-marknadspåföljder.

-Vilka konferenser var du på 2023 och hur var trafiken?

>>Expedera ställer ut på en riktad grupp av konferenser fokuserade på edge AI, inklusive men inte begränsat till Embedded Vision Summit och AI Hardware & AI Summit, såväl som större evenemang som CES. Trafiken vid dessa evenemang verkade i nivå med 2022, det vill säga respektabel. AI är uppenbarligen ett väldigt hett ämne inom teknikvärlden idag, och alla företag tittar på sätt att integrera AI i sina produkter, arbetsflöden och designprocesser. Följaktligen har vi sett en ständigt ökande variation av deltagare vid dessa evenemang, som alla kommer med olika behov och förväntningar.

-Kommer du att delta i konferenser 2024? Samma eller fler?

>>2024 kommer sannolikt att se en liten utvidgning av våra konferensplaner, särskilt de som fokuserar på teknik. Som en del av halvledarekosystemet har Expedera inte råd att existera i ett vakuum. Vi har talat vid tidigare evenemang om våra hårdvaru- och mjukvarustackar, såväl som implementeringar som vår säkerhetscentrerade NPU för smartphones som alltid känner av. I år kommer vi att ägna mycket av vår tid åt att detaljera avancerade implementeringar av LLM, inklusive på kommande konferenser senare i vår. Vi ser fram emot att träffa många av er där!