Expedera fornece IP semicondutor de mecanismo neural personalizável que melhora drasticamente o desempenho, a potência e a latência, ao mesmo tempo que reduz o custo e a complexidade em aplicações de inferência de IA de borda. Da é cofundador e CEO da Expedera. Anteriormente, ele foi cofundador e COO da Memoir Systems, uma startup de IP de memória otimizada, que levou a uma aquisição bem-sucedida pela Cisco. Na Cisco, ele liderou os Datacenter Switch ASICs para produtos Nexus 3/9K, MDS e CSPG. Da traz mais de 25 anos de experiência em ASIC na Cisco, Nvidia e Abrizio. Ele possui BS EECS pela UC Berkeley, MS/PhD EE por Stanford. Com sede em Santa Clara, Califórnia, a empresa possui centros de desenvolvimento de engenharia e escritórios de suporte ao cliente no Reino Unido, China, Japão, Taiwan e Cingapura.

Conte-nos um pouco sobre você e sua empresa.

Meu nome é Da Chuang e sou cofundador e CEO da Expedera. Fundada em 2018, a Expedera construiu nossa reputação de fornecer o principal NPU IP personalizável para aplicações de inferência de borda, desde nós de borda e smartphones até o setor automotivo. Nosso Origin NPU, agora em sua 4ª^tharquitetura de geração, suporta até 128 TOPS em um único núcleo, ao mesmo tempo que fornece processamento líder do setor e eficiência de energia para a mais ampla gama de redes neurais, incluindo RNN, CNN, LSTM, DNN e LLMs.

-Qual foi o ponto alto mais emocionante de 2023 para sua empresa?

>>2023 foi um ano de grande crescimento para a Expedera. Adicionamos dois novos locais físicos à nossa empresa, Bath (Reino Unido) e Cingapura. Ambos os escritórios estão focados em P&D futuro, no desenvolvimento de arquiteturas de IA de próxima geração, além de outras coisas sobre as quais você ouvirá nos próximos meses e anos. Embora isso seja muito emocionante para nós, talvez o ponto alto mais significativo para a Expedera em 2023 tenha sido o crescimento de nossos clientes e de implantação. Começamos o ano com a notícia de que nosso IP foi enviado em mais de 10 milhões de dispositivos de consumo, um número notável para qualquer startup de Semiconductor IP. Ao longo do ano, continuamos a expandir nossa base de clientes, que agora inclui OEMs de smartphones de nível 1 em todo o mundo, chipsets para dispositivos de consumo e fabricantes de chips automotivos. Nossa solução NPU é reconhecida mundialmente como a melhor do mercado, e os clientes nos procuram quando desejam o melhor mecanismo de IA para seus produtos.

-Qual foi o maior desafio que sua empresa enfrentou em 2023?

>>O maior desafio em 2023, juntamente com a maior oportunidade, foi o surgimento de Large Language Models (LLMs) e Stable Diffusion (SD) no espaço de IA de ponta. LLMs/SD representam uma mudança de paradigma em IA – eles exigem processamento mais especializado e mais potência de processamento do que as redes CNN/RNN típicas que a maioria dos clientes implantava em 2022 e antes. É incrível ver o grande número de aplicativos baseados em LLM/SD que nossos clientes estão implementando. No entanto, o principal desafio dos LLMs e SD na borda tem sido permitir que essas redes funcionem dentro do envelope de energia e desempenho de um dispositivo de borda alimentado por bateria.

-Como o trabalho da sua empresa está enfrentando esse maior desafio?

>> Nossos clientes desejam apresentar produtos diferenciados por IA; produtos que agregam valor real ao consumidor com uma experiência de usuário fantástica. No entanto, impactos significativos na duração da bateria não são aceitos como parte da experiência do usuário. À medida que integramos o suporte LLM e SD em nossos 4 agora disponíveis^th arquitetura de geração, nossa ênfase de design estava focada em fornecer o IP NPU com maior eficiência de memória, maior utilização e menor latência que poderíamos construir. Aprofundamos o funcionamento subjacente desses novos tipos de rede; movimentos de dados, propagações, dependências, etc… para entender a maneira certa de evoluir nossas arquiteturas de hardware e software para melhor atender às necessidades futuras. Como exemplo de como evoluímos, nossos 4^th A arquitetura de geração apresenta nova multiplicação de matrizes e blocos vetoriais otimizados para LLMs e SD, enquanto mantém nossas eficiências de processamento líderes de mercado em redes tradicionais do estilo RNN e CNN.

-Qual você acha que será a área de maior crescimento para 2024 e por quê?

>> Uma de nossas maiores áreas de crescimento em 2024 será o suporte a uma variedade cada vez maior de implantações de IA em automóveis. Embora a maioria provavelmente esteja familiarizada com o uso de IA na pilha de condução autônoma para redes baseadas em recursos visuais, há muito mais oportunidades e usos surgindo. Certamente, estamos vendo o uso do LLM disparar em automóveis, como em muitos outros mercados. No entanto, também estamos vendo um aumento no uso da IA ​​em outros aspectos do carro – atenção do motorista, detecção de passageiros no banco traseiro, infoentretenimento, manutenção preditiva, personalização e muitos outros. Tudo isto visa proporcionar ao consumidor a melhor experiência de utilização possível, uma das principais razões para a implementação da IA. No entanto, as necessidades de processamento de IA de todos esses usos variam dramaticamente, não apenas nas capacidades reais de desempenho, mas também nos tipos de redes neurais que o caso de uso apresenta.

-Como o trabalho da sua empresa está abordando esse crescimento?

>> Junto com o suporte LLM e SD mencionado acima, os 4 da Expedera^th a arquitetura de geração também é facilmente personalizável. Quando a Expedera realiza um novo projeto com um cliente, buscamos entender todas as condições da aplicação (objetivos de desempenho, suporte de rede necessário, limitações de área e energia, necessidades futuras e outras) para que possamos personalizar melhor nosso IP – essencialmente , dê ao cliente exatamente o que ele deseja, sem ter que fazer sacrifícios por coisas que ele não deseja. Se o cliente desejar um mecanismo centralizado e de alto desempenho que ofereça vários usos diferentes e suporte para uma variedade de redes, nós podemos apoiá-lo. Se o cliente quiser implantar mecanismos descentralizados que lidam apenas com tarefas e redes específicas, também podemos oferecer suporte – ou qualquer outro ponto intermediário. E tudo isso a partir da mesma arquitetura IP, feito sem penalidades no tempo de lançamento no mercado.

-Quais conferências você participou em 2023 e como foi o tráfego?

>>Expedera expõe em um grupo específico de conferências focadas em IA de ponta, incluindo, entre outros, o Embedded Vision Summit e o AI Hardware & AI Summit, bem como eventos maiores como o CES. O tráfego nesses eventos parecia estar no mesmo nível de 2022, o que significa respeitável. A IA é obviamente um tema muito importante no mundo da tecnologia hoje, e todas as empresas estão procurando maneiras de integrar a IA em seus produtos, fluxos de trabalho e processos de design. Conseqüentemente, temos visto uma variedade cada vez maior de participantes nesses eventos, todos com necessidades e expectativas diferentes.

-Você participará de conferências em 2024? Igual ou mais?

>>2024 provavelmente verá uma ligeira expansão em nossos planos de conferências, especialmente aqueles focados em tecnologia. Como parte do ecossistema de semicondutores, a Expedera não pode se dar ao luxo de existir no vácuo. Falamos em eventos anteriores sobre nossas pilhas de hardware e software, bem como implementações como nossa NPU sempre sensível e centrada em segurança para smartphones. Este ano, gastaremos muito do nosso tempo detalhando implementações de borda de LLMs, inclusive nas próximas conferências no final desta primavera. Esperamos encontrar muitos de vocês lá!

Leia também:

Expedera propõe difusão estável como referência para hardware de ponta para IA

WEBINAR: Um mecanismo de processamento neural ideal para implantações com detecção constante

Inferência de IA com área otimizada para aplicativos sensíveis ao custo

Compartilhe esta postagem via:

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://semiwiki.com/ip/342614-2024-outlook-with-da-chuang-of-expedera/