Expedera fornisce IP semiconduttore del motore neurale personalizzabile che migliora notevolmente prestazioni, potenza e latenza riducendo al contempo i costi e la complessità nelle applicazioni di inferenza IA edge. Da è co-fondatore e amministratore delegato di Expedera. In precedenza, è stato cofondatore e COO di Memoir Systems, una startup IP di memoria ottimizzata, che ha portato ad un'acquisizione di successo da parte di Cisco. Presso Cisco, ha guidato gli ASIC Datacenter Switch per i prodotti Nexus 3/9K, MDS e CSPG. Da porta con sé oltre 25 anni di esperienza ASIC presso Cisco, Nvidia e Abrizio. Ha conseguito una laurea BS EECS presso la UC Berkeley, un MS/PhD EE presso Stanford. Con sede a Santa Clara, California, l'azienda dispone di centri di sviluppo tecnico e uffici di assistenza clienti nel Regno Unito, Cina, Giappone, Taiwan e Singapore.

Raccontaci un po’ di te e della tua azienda.

Mi chiamo Da Chuang e sono co-fondatore e CEO di Expedera. Fondata nel 2018, Expedera ha costruito la nostra reputazione fornendo il principale IP NPU personalizzabile per applicazioni di inferenza edge, dai nodi edge e dagli smartphone all'automotive. La nostra Origin NPU, giunta alla sua 4^tharchitettura di nuova generazione, supporta fino a 128 TOPS in un singolo core fornendo al contempo efficienza di elaborazione ed alimentazione leader del settore per la più ampia gamma di reti neurali tra cui RNN, CNN, LSTM, DNN e LLM.

-Qual è stato il momento più emozionante del 2023 per la tua azienda?

>>Il 2023 è stato un anno di enorme crescita per Expedera. Abbiamo aggiunto due nuove sedi fisiche alla nostra azienda, Bath (Regno Unito) e Singapore. Entrambi questi uffici sono focalizzati sulla futura ricerca e sviluppo, sullo sviluppo di architetture AI di prossima generazione, oltre ad altre cose di cui sentirete parlare nei mesi e negli anni a venire. Anche se questo è molto entusiasmante per noi, forse il punto più significativo per Expedera nel 2023 è stata la crescita dei nostri clienti e delle nostre implementazioni. Abbiamo iniziato l'anno con la notizia che il nostro IP era stato distribuito in oltre 10 milioni di dispositivi consumer, un numero notevole per qualsiasi startup IP di semiconduttori. Nel corso dell'anno, abbiamo continuato ad espandere la nostra base di clienti, che ora comprende OEM di smartphone di livello 1 in tutto il mondo, chipset per dispositivi consumer e produttori di chip per il settore automobilistico. La nostra soluzione NPU è riconosciuta a livello globale come la migliore sul mercato e i clienti si rivolgono a noi quando desiderano il miglior motore AI in assoluto per i loro prodotti.

-Qual è stata la sfida più grande che la tua azienda ha dovuto affrontare nel 2023?

>>La sfida più grande nel 2023, insieme alla più grande opportunità, è stata l'emergere di Large Language Models (LLM) e Stable Diffusion (SD) nello spazio dell'intelligenza artificiale edge. Gli LLM/SD rappresentano un cambiamento di paradigma nell'intelligenza artificiale: richiedono un'elaborazione più specializzata e una maggiore potenza di elaborazione rispetto alle tipiche reti CNN/RNN che la maggior parte dei clienti implementava nel 2022 e in precedenza. È stato incredibile vedere l'enorme numero di applicazioni basate su LLM/SD implementate dai nostri clienti. Tuttavia, la sfida principale degli LLM e dell’SD nell’edge è stata quella di consentire a tali reti di funzionare entro i limiti di potenza e prestazioni di un dispositivo edge alimentato a batteria.

-In che modo il lavoro della tua azienda sta affrontando questa sfida più grande?

>> I nostri clienti desiderano presentare prodotti differenziati dall'intelligenza artificiale; prodotti che apportano valore reale al consumatore con un'esperienza utente fantastica. Tuttavia, le ripercussioni significative sulla durata della batteria non sono accettate come parte dell'esperienza dell'utente. Poiché abbiamo integrato il supporto LLM e SD nella nostra versione 4^th architettura di nuova generazione, la nostra enfasi progettuale si è concentrata sulla fornitura dell'IP NPU più efficiente in termini di memoria, con il massimo utilizzo e la latenza più bassa che potessimo creare. Abbiamo approfondito il funzionamento sottostante di questi nuovi tipi di rete; movimenti di dati, propagazioni, dipendenze, ecc… per comprendere il modo giusto di evolvere le nostre architetture hardware e software per soddisfare al meglio le esigenze future. Come esempio di come ci siamo evoluti, il nostro 4^th L'architettura di generazione presenta una nuova moltiplicazione di matrici e blocchi vettoriali ottimizzati per LLM e SD, pur mantenendo le nostre efficienze di elaborazione leader di mercato nelle reti tradizionali in stile RNN e CNN.

-Quale pensi sarà la maggiore area di crescita per il 2024, e perché?

>> Una delle nostre maggiori aree di crescita è che il 2024 supporterà una crescente varietà di implementazioni di intelligenza artificiale nelle automobili. Sebbene la maggior parte abbia probabilmente familiarità con l’utilizzo dell’intelligenza artificiale nello stack di guida autonoma per le reti basate sulla visualizzazione, stanno emergendo molte più opportunità e usi. Certamente, stiamo assistendo a un aumento vertiginoso dell'utilizzo del LLM nel settore automobilistico, come in molti altri mercati. Tuttavia, stiamo assistendo a un maggiore utilizzo dell’intelligenza artificiale anche in altri aspetti dell’auto: attenzione del conducente, rilevamento dei passeggeri sui sedili posteriori, infotainment, manutenzione predittiva, personalizzazione e molti altri. Tutto ciò mira a fornire al consumatore la migliore esperienza utente possibile, uno dei motivi principali per l’implementazione dell’intelligenza artificiale. Tuttavia, le esigenze di elaborazione dell’intelligenza artificiale per tutti questi usi variano notevolmente, non solo nelle capacità prestazionali effettive, ma anche nei tipi di reti neurali presentate dal caso d’uso.

-In che modo il lavoro della vostra azienda sta affrontando questa crescita?

>> Insieme al già citato supporto LLM e SD, Expedera 4^th anche l'architettura di generazione è facilmente personalizzabile. Quando Expedera si impegna in un nuovo design-in con un cliente, cerchiamo di comprendere tutte le condizioni dell'applicazione (obiettivi prestazionali, supporto di rete richiesto, limitazioni di area e potenza, esigenze future e altro) in modo da poter personalizzare al meglio il nostro IP, essenzialmente , dare al cliente esattamente ciò che desidera senza dover fare sacrifici per cose che non vuole. Se il cliente desidera un motore centralizzato e ad alte prestazioni che consenta una serie di usi diversi e supporti una varietà di reti, possiamo supportarlo. Se il cliente desidera implementare motori decentralizzati che gestiscono solo attività e reti specifiche, possiamo supportare anche questo, o qualsiasi altra via di mezzo. E tutto questo avviene con la stessa architettura IP, senza penalità di time-to-market.

-A quali conferenze hai partecipato nel 2023 e com'era il traffico?

>>Expedera partecipa a un gruppo mirato di conferenze incentrate sull'intelligenza artificiale all'avanguardia, inclusi ma non limitati all'Embedded Vision Summit e all'AI Hardware & AI Summit, nonché a eventi più ampi come il CES. Il traffico a questi eventi è sembrato alla pari con il 2022, vale a dire rispettabile. L’intelligenza artificiale è ovviamente un argomento molto caldo oggi nel mondo tecnologico e ogni azienda è alla ricerca di modi per integrare l’intelligenza artificiale nei propri prodotti, flussi di lavoro e processi di progettazione. Di conseguenza, a questi eventi abbiamo assistito a una varietà sempre crescente di partecipanti, tutti con esigenze e aspettative diverse.

-Parteciperai alle conferenze nel 2024? Uguale o più?

>>Il 2024 vedrà probabilmente una leggera espansione dei nostri programmi di conferenze, in particolare quelli incentrati sulla tecnologia. Essendo parte dell’ecosistema dei semiconduttori, Expedera non può permettersi di esistere nel vuoto. In occasione di eventi passati abbiamo parlato dei nostri stack hardware e software, nonché di implementazioni come la nostra NPU sempre sensibile alla sicurezza per smartphone. Quest'anno dedicheremo molto del nostro tempo a descrivere dettagliatamente le implementazioni edge degli LLM, anche nelle prossime conferenze più avanti questa primavera. Non vediamo l'ora di incontrarvi numerosi lì!

Leggi anche:

Expedera propone la diffusione stabile come punto di riferimento per l'hardware Edge per l'intelligenza artificiale

WEBINAR: un motore di elaborazione neurale ideale per distribuzioni sempre sensibili

Inferenza AI ottimizzata per area per applicazioni sensibili ai costi

Condividi questo post tramite:

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://semiwiki.com/ip/342614-2024-outlook-with-da-chuang-of-expedera/