Expedera의 Da Chuang과 함께하는 2024년 전망 - Semiwiki

다 추앙 2

Expedera는 엣지 AI 추론 애플리케이션의 비용과 복잡성을 줄이는 동시에 성능, 전력 및 대기 시간을 획기적으로 향상시키는 맞춤형 신경 엔진 반도체 IP를 제공합니다. Da는 Expedera의 공동 창립자이자 CEO입니다. 이전에는 최적화된 메모리 IP 스타트업인 Memoir Systems의 공동 창업자이자 COO였으며 Cisco에 성공적으로 인수되었습니다. Cisco에서는 Nexus 3/9K, MDS, CSPG 제품용 데이터센터 스위치 ASIC을 이끌었습니다. Da는 Cisco, Nvidia 및 Abrizio에서 25년 이상의 ASIC 경험을 갖고 있습니다. 그는 UC Berkeley에서 EECS 학사 학위를, Stanford에서 EE 석사/박사 학위를 취득했습니다. 캘리포니아 주 산타클라라에 본사를 두고 있는 이 회사는 영국, 중국, 일본, 대만 및 싱가포르에 엔지니어링 개발 센터와 고객 지원 사무소를 두고 있습니다.

귀하와 귀하의 회사에 대해 간략하게 알려주십시오.

제 이름은 Da Chuang이고 Expedera의 공동 창립자이자 CEO입니다. 2018년에 설립된 Expedera는 엣지 노드와 스마트폰에서 자동차에 이르기까지 엣지 추론 애플리케이션을 위한 최고의 맞춤형 NPU IP를 제공한다는 명성을 쌓아왔습니다. 우리의 Origin NPU는 이제 4개입니다.^th세대 아키텍처는 단일 코어에서 최대 128개의 TOPS를 지원하는 동시에 RNN, CNN, LSTM, DNN 및 LLM을 포함한 가장 광범위한 신경망에 대해 업계 최고의 처리 및 전력 효율성을 제공합니다.

-귀사의 2023년 가장 흥미로운 고점은 무엇이었나요?

>>2023년은 Expedera가 엄청난 성장을 이룬 해였습니다. 우리 회사에는 Bath(영국)와 싱가포르라는 두 개의 새로운 물리적 위치가 추가되었습니다. 두 사무실 모두 미래 R&D, 차세대 AI 아키텍처 개발, 그리고 앞으로 몇 달, 몇 년 안에 듣게 될 기타 사항에 중점을 두고 있습니다. 이는 우리에게 매우 흥미로운 일이지만 아마도 2023년 Expedera의 가장 중요한 최고점은 고객 및 배포 성장일 것입니다. 우리는 우리의 IP가 천만 개가 넘는 소비자 장치에 출하되었다는 소식으로 올해를 시작했습니다. 이는 반도체 IP 스타트업 중 주목할 만한 숫자입니다. 한 해 동안 우리는 전 세계 Tier 10 스마트폰 OEM, 소비자 장치 칩셋 및 자동차 칩 제조업체를 포함하여 고객 기반을 계속 확장했습니다. 우리의 NPU 솔루션은 전 세계적으로 시장 최고로 인정받고 있으며, 고객은 자신의 제품에 가장 적합한 AI 엔진을 원할 때 우리를 찾아옵니다.

-2023년 회사가 직면한 가장 큰 도전은 무엇이었나요?

>>2023년의 가장 큰 도전이자 가장 큰 기회는 엣지 AI 공간에서 LLM(Large Language Model)과 SD(Stable Diffusion)의 출현이었습니다. LLM/SD는 AI의 패러다임 변화를 나타냅니다. 2022년 이전에 대부분의 고객이 배포한 일반적인 CNN/RNN 네트워크보다 더 전문적인 처리와 더 많은 처리 능력이 필요합니다. 고객이 구현하고 있는 LLM/SD 기반 애플리케이션의 수는 정말 놀라울 정도입니다. 그러나 엣지에서 LLM 및 SD의 주요 과제는 해당 네트워크가 배터리 구동 엣지 장치의 전력 및 성능 범위 내에서 실행되도록 허용하는 것이었습니다.

- 귀사는 이 가장 큰 과제를 어떻게 해결하고 있습니까?

>> 고객은 AI로 차별화된 제품을 선보이고 싶어합니다. 환상적인 사용자 경험을 통해 소비자에게 실질적인 가치를 제공하는 제품입니다. 그러나 배터리 수명에 대한 심각한 타격은 사용자 경험의 일부로 허용되지 않습니다. LLM 및 SD 지원을 현재 사용 가능한 4에 통합함에 따라^th 세대 아키텍처에서 우리의 디자인 강조점은 우리가 구축할 수 있는 가장 효율적인 메모리, 가장 높은 활용도, 가장 낮은 대기 시간 NPU IP를 제공하는 데 중점을 두었습니다. 우리는 이러한 새로운 네트워크 유형의 기본 작동 방식을 자세히 조사했습니다. 데이터 이동, 전파, 종속성 등을 파악하여 하드웨어와 소프트웨어 아키텍처를 모두 미래 요구 사항에 가장 잘 맞게 발전시키는 올바른 방법을 이해합니다. 우리가 어떻게 진화했는지 보여주는 예로서, 우리의 4가지^th 생성 아키텍처는 LLM 및 SD에 최적화된 새로운 행렬 곱셈 및 벡터 블록을 특징으로 하는 동시에 기존 RNN 및 CNN 스타일 네트워크에서 시장 최고의 처리 효율성을 유지합니다.

-2024년 가장 큰 성장 영역은 어디일 것이라고 생각하며, 그 이유는 무엇인가요?

>> 우리의 가장 큰 성장 영역 중 하나는 2024년에 자동차에 점점 더 다양한 AI 배포를 지원하는 것입니다. 대부분의 사람들은 시각 기반 네트워크의 자율 주행 스택에서 AI의 사용에 대해 잘 알고 있지만, 더 많은 기회와 용도가 등장하고 있습니다. 확실히 우리는 다른 많은 시장과 마찬가지로 자동차 분야에서 LLM 사용이 급증하는 것을 목격하고 있습니다. 그러나 운전자 주의력, 뒷좌석 승객 감지, 인포테인먼트, 예측 유지 관리, 개인화 등 자동차의 다른 측면에서도 AI의 사용이 증가하는 것을 볼 수 있습니다. 이 모든 것은 AI 구현의 주요 이유 중 하나인 최고의 사용자 경험을 소비자에게 제공하는 것을 목표로 합니다. 그러나 이러한 모든 용도에 대한 AI 처리 요구 사항은 실제 성능 기능뿐만 아니라 사용 사례가 제시하는 신경망 유형에 따라 크게 다릅니다.

- 귀사의 업무는 이러한 성장을 어떻게 해결하고 있습니까?

>> 앞서 언급한 LLM 및 SD 지원과 함께 Expedera의 4^th 세대 아키텍처도 쉽게 사용자 정의할 수 있습니다. Expedera는 고객과 함께 새로운 설계에 참여할 때 IP를 가장 잘 맞춤화할 수 있도록 모든 애플리케이션 조건(성능 목표, 필요한 네트워크 지원, 영역 및 전력 제한, 향후 요구 사항 등)을 이해하려고 노력합니다. , 고객이 원하지 않는 것을 위해 희생할 필요 없이 고객이 원하는 것을 정확하게 제공하십시오. 고객이 다양한 네트워크에 대한 다양한 용도와 지원을 처리하는 중앙 집중식 고성능 엔진을 원하는 경우 당사는 이를 지원할 수 있습니다. 고객이 특정 작업과 네트워크만 처리하는 분산형 엔진을 배포하려는 경우 우리는 이를 지원하거나 그 사이 어느 곳에서나 지원할 수 있습니다. 그리고 이는 모두 동일한 IP 아키텍처에서 이루어지며 출시 기간에 따른 불이익 없이 수행됩니다.

-2023년에는 어떤 컨퍼런스에 참석하셨고, 교통상황은 어땠나요?

>>Expedera는 Embedded Vision Summit, AI Hardware & AI Summit은 물론 CES와 같은 대규모 이벤트를 포함하되 이에 국한되지 않고 엣지 AI에 초점을 맞춘 특정 컨퍼런스 그룹에 전시합니다. 이러한 이벤트의 교통량은 2022년과 동등해 보였습니다. 즉, 괜찮은 수준이었습니다. AI는 오늘날 기술 세계에서 매우 뜨거운 주제임이 분명하며, 모든 회사는 AI를 제품, 워크플로우 및 디자인 프로세스에 통합하는 방법을 모색하고 있습니다. 따라서 우리는 이러한 행사에 참석하는 사람들의 수가 점점 더 다양해지는 것을 목격했으며, 이들 모두는 서로 다른 요구와 기대를 갖고 있습니다.

-2024년에도 컨퍼런스에 참석할 예정인가요? 같거나 그 이상인가요?

>>2024년에는 컨퍼런스 계획, 특히 기술에 초점을 맞춘 컨퍼런스 계획이 약간 확장될 가능성이 높습니다. 반도체 생태계의 일부로서 Expedera는 진공 상태에서 존재할 여유가 없습니다. 우리는 과거 이벤트에서 하드웨어 및 소프트웨어 스택뿐만 아니라 보안 중심의 항상 감지하는 스마트폰용 NPU와 같은 구현에 대해서도 이야기한 적이 있습니다. 올해 우리는 올 봄 후반에 예정된 컨퍼런스를 포함하여 LLM의 엣지 구현을 자세히 설명하는 데 많은 시간을 할애할 것입니다. 우리는 그곳에서 많은 분들을 만나기를 기대하고 있습니다!