Expedera proporciona IP semiconductor de motor neuronal personalizable que mejora drásticamente el rendimiento, la potencia y la latencia al tiempo que reduce el costo y la complejidad en las aplicaciones de inferencia de IA de borde. Da es cofundador y director ejecutivo de Expedera. Anteriormente, fue cofundador y director de operaciones de Memoir Systems, una startup de IP de memoria optimizada, que condujo a una adquisición exitosa por parte de Cisco. En Cisco, dirigió los ASIC de conmutador de centro de datos para productos Nexus 3/9K, MDS y CSPG. Da aporta más de 25 años de experiencia en ASIC en Cisco, Nvidia y Abrizio. Tiene una licenciatura en EECS de UC Berkeley y una maestría y doctorado en EE de Stanford. Con sede en Santa Clara, California, la empresa cuenta con centros de desarrollo de ingeniería y oficinas de atención al cliente en el Reino Unido, China, Japón, Taiwán y Singapur.

Cuéntenos un poco sobre usted y su empresa.

Mi nombre es Da Chuang y soy cofundador y director ejecutivo de Expedera. Fundada en 2018, Expedera se ha ganado la reputación de proporcionar la principal IP NPU personalizable para aplicaciones de inferencia de borde, desde nodos de borde y teléfonos inteligentes hasta automóviles. Nuestra NPU Origin, ahora en su 4^thLa arquitectura de generación admite hasta 128 TOPS en un solo núcleo y, al mismo tiempo, proporciona procesamiento y eficiencia energética líderes en la industria para la más amplia gama de redes neuronales, incluidas RNN, CNN, LSTM, DNN y LLM.

-¿Cuál fue el punto culminante más emocionante de 2023 para su empresa?

>>2023 fue un año de tremendo crecimiento para Expedera. Agregamos dos nuevas ubicaciones físicas a nuestra empresa, Bath (Reino Unido) y Singapur. Ambas oficinas se centran en la investigación y el desarrollo del futuro, el desarrollo de arquitecturas de inteligencia artificial de próxima generación y otras cosas de las que escuchará en los meses y años venideros. Si bien esto es muy emocionante para nosotros, quizás el punto más importante para Expedera en 2023 fue el crecimiento de nuestros clientes y de la implementación. Comenzamos el año con la noticia de que nuestra IP se había enviado a más de 10 millones de dispositivos de consumo, lo cual es un número notable para cualquier nueva empresa de Semiconductor IP. A lo largo del año, continuamos ampliando nuestra base de clientes, que ahora incluye fabricantes de equipos originales de teléfonos inteligentes de nivel 1, conjuntos de chips para dispositivos de consumo y fabricantes de chips para automóviles de todo el mundo. Nuestra solución NPU es reconocida mundialmente como la mejor del mercado, y los clientes acuden a nosotros cuando desean el mejor motor de IA para sus productos.

-¿Cuál fue el mayor desafío que enfrentó su empresa en 2023?

>>El mayor desafío en 2023, junto con la mayor oportunidad, ha sido la aparición de modelos de lenguaje grande (LLM) y difusión estable (SD) en el espacio de la IA perimetral. Los LLM/SD representan un cambio de paradigma en la IA: requieren un procesamiento más especializado y más potencia de procesamiento que las redes CNN/RNN típicas que la mayoría de los clientes implementaban en 2022 y antes. Ha sido increíble ver la gran cantidad de aplicaciones basadas en LLM/SD que nuestros clientes están implementando. Sin embargo, el principal desafío de los LLM y SD en el borde ha sido permitir que esas redes funcionen dentro del rango de potencia y rendimiento de un dispositivo de borde alimentado por batería.

-¿Cómo está abordando el trabajo de su empresa este mayor desafío?

>> Nuestros clientes quieren presentar productos diferenciados por la IA; Productos que aportan valor real al consumidor con una experiencia de usuario fantástica. Sin embargo, no se aceptan cambios significativos en la duración de la batería como parte de la experiencia del usuario. A medida que integramos soporte LLM y SD en nuestro 4 ahora disponible^th arquitectura de generación, nuestro énfasis en el diseño se centró en proporcionar la IP NPU más eficiente en memoria, de mayor utilización y de menor latencia que pudiéramos construir. Profundizamos en el funcionamiento subyacente de estos nuevos tipos de redes; movimientos de datos, propagaciones, dependencias, etc. para comprender la forma correcta de evolucionar nuestras arquitecturas de hardware y software para satisfacer mejor las necesidades futuras. Como ejemplo de cómo hemos evolucionado, nuestros 4^th La arquitectura de generación presenta nuevos bloques de vectores y multiplicación de matrices optimizados para LLM y SD, al tiempo que mantiene nuestras eficiencias de procesamiento líderes en el mercado en redes tradicionales de estilo RNN y CNN.

-¿Cuál cree que será el área de mayor crecimiento para 2024 y por qué?

>> Una de nuestras áreas de mayor crecimiento es que en 2024 respaldará una variedad cada vez mayor de implementaciones de IA en automóviles. Si bien la mayoría probablemente esté familiarizada con el uso de la IA en la pila de conducción autónoma para redes basadas en imágenes, están surgiendo muchas más oportunidades y usos. Ciertamente, estamos viendo que el uso de LLM en automóviles se dispara, como en muchos otros mercados. Sin embargo, también estamos viendo un mayor uso de la IA en otros aspectos del automóvil: atención del conductor, detección de pasajeros en los asientos traseros, información y entretenimiento, mantenimiento predictivo, personalización y muchos otros. Todos ellos tienen como objetivo brindar al consumidor la mejor experiencia de usuario posible, una de las razones clave para la implementación de la IA. Sin embargo, las necesidades de procesamiento de IA de todos estos usos varían dramáticamente, no solo en las capacidades de rendimiento reales sino también en los tipos de redes neuronales que presenta el caso de uso.

-¿Cómo está abordando el trabajo de su empresa este crecimiento?

>> Junto con el soporte LLM y SD antes mencionado, 4 de Expedera^th La arquitectura de generación también es fácilmente personalizable. Cuando Expedera participa en un nuevo diseño con un cliente, buscamos comprender todas las condiciones de la aplicación (objetivos de rendimiento, soporte de red requerido, limitaciones de área y energía, necesidades futuras y otras) para que podamos personalizar mejor nuestra IP, esencialmente , brinde al cliente exactamente lo que quiere sin tener que hacer sacrificios por cosas que no quiere. Si el cliente desea un motor centralizado de alto rendimiento que admita varios usos diferentes y soporte para una variedad de redes, podemos ofrecerlo. Si el cliente desea implementar motores descentralizados que manejen solo tareas y redes específicas, podemos respaldarlo también, o en cualquier punto intermedio. Y todo esto proviene de la misma arquitectura IP, sin penalizaciones en el tiempo de comercialización.

-¿A qué conferencias asististe en 2023 y cómo estuvo el tráfico?

>>Expedera expone en un grupo específico de conferencias centradas en la IA de vanguardia, que incluyen, entre otras, la Embedded Vision Summit y la AI Hardware & AI Summit, así como eventos más importantes como CES. El tráfico en estos eventos parecía estar a la par del año 2022, es decir, respetable. Obviamente, la IA es un tema muy candente en el mundo de la tecnología actual, y todas las empresas están buscando formas de integrar la IA en sus productos, flujos de trabajo y procesos de diseño. En consecuencia, hemos visto una variedad cada vez mayor de asistentes a estos eventos, todos los cuales vienen con diferentes necesidades y expectativas.

-¿Asistirás a conferencias en 2024? ¿Igual o más?

>>Es probable que en 2024 se produzca una ligera ampliación de nuestros planes de conferencias, especialmente aquellos centrados en la tecnología. Como parte del ecosistema de semiconductores, Expedera no puede permitirse el lujo de existir en el vacío. Hemos hablado en eventos anteriores sobre nuestras pilas de hardware y software, así como sobre implementaciones como nuestra NPU de detección permanente centrada en la seguridad para teléfonos inteligentes. Este año, dedicaremos gran parte de nuestro tiempo a detallar las implementaciones de vanguardia de los LLM, incluso en las próximas conferencias a finales de esta primavera. ¡Esperamos conocer a muchos de ustedes allí!

Lea también

Expedera propone difusión estable como punto de referencia para hardware de borde para IA

SEMINARIO WEB: Un motor de procesamiento neuronal ideal para implementaciones con detección constante

Inferencia de IA optimizada por área para aplicaciones sensibles a los costos

Comparte esta publicación a través de:

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://semiwiki.com/ip/342614-2024-outlook-with-da-chuang-of-expedera/