Expedera の Da Chuang 氏による 2024 年の見通し - Semiwiki

大荘2

Expedera は、エッジ AI 推論アプリケーションのコストと複雑さを軽減しながら、パフォーマンス、電力、遅延を大幅に向上させる、カスタマイズ可能なニューラルエンジン半導体 IP を提供します。 Da は Expedera の共同創設者兼 CEO です。以前は、最適化されたメモリ IP スタートアップである Memoir Systems の共同創設者兼 COO を務め、Cisco による買収を成功させました。 Cisco では、Nexus 3/9K、MDS、CSPG 製品のデータセンタースイッチ ASIC を主導しました。 Da は、Cisco、Nvidia、Abrizio で 25 年以上の ASIC の経験を持っています。彼はカリフォルニア大学バークレー校で EECS 学士号を取得し、スタンフォード大学で EE 修士号/博士号を取得しています。同社はカリフォルニア州サンタクララに本社を置き、英国、中国、日本、台湾、シンガポールにエンジニアリング開発センターと顧客サポートオフィスを置いています。

あなた自身とあなたの会社について少し教えてください。

私の名前は Da Chuang です。Expedera の共同創設者兼 CEO です。 2018 年に設立された Expedera は、エッジノードやスマートフォンから自動車までのエッジ推論アプリケーション向けにカスタマイズ可能な最高の NPU IP を提供するという評判を築いてきました。弊社の Origin NPU は現在 4 つあります^th世代アーキテクチャは、単一コアで最大 128 TOPS をサポートしながら、RNN、CNN、LSTM、DNN、LLM を含む幅広いニューラルネットワークに対して業界をリードする処理効率と電力効率を提供します。

-御社にとって 2023 年の最もエキサイティングな最高点は何でしたか?

>>2023 年は Expedera にとって驚異的な成長の年でした。当社に、バース (英国) とシンガポールの 2023 つの新しい物理的な場所を追加しました。これらのオフィスは両方とも、将来の研究開発、次世代 AI アーキテクチャの開発、さらには今後数か月、数年で耳にすることになる他の事柄に焦点を当てています。これは私たちにとって非常にエキサイティングなことでありますが、おそらく 10 年の Expedera にとって最も重要な最高点は、顧客と展開の成長でした。今年の始まりは、当社の IP が 1 万を超える消費者向けデバイスに出荷されたというニュースで始まりました。これは、半導体 IP スタートアップとしては注目に値する数字です。年間を通して、当社は顧客ベースの拡大を続け、現在では世界中の Tier XNUMX スマートフォン OEM、消費者向けデバイスのチップセット、自動車用チップメーカーが含まれています。当社の NPU ソリューションは市場で最高のものとして世界的に認められており、顧客は自社の製品に絶対的に最高の AI エンジンが必要なときに当社に来ます。

-2023年に御社が直面した最大の課題は何でしたか？

>>2023 年の最大の課題と最大のチャンスは、エッジ AI 領域における大規模言語モデル (LLM) と安定拡散 (SD) の出現です。 LLM/SD は AI のパラダイムシフトを表しています。LLM/SD は、2022 年以前にほとんどの顧客が導入していた典型的な CNN / RNN ネットワークよりも、より特殊な処理とより多くの処理能力を必要とします。当社のお客様が実装している LLM/SD ベースのアプリケーションの数は驚くべきものです。ただし、エッジ上の LLM と SD の主な課題は、これらのネットワークをバッテリ駆動のエッジデバイスの電力とパフォーマンスの範囲内で実行できるようにすることでした。

-御社はこの最大の課題にどのように取り組んでいますか？

>> 当社の顧客は、AI によって差別化された製品を特集したいと考えています。素晴らしいユーザーエクスペリエンスで消費者に真の価値をもたらす製品。ただし、バッテリー寿命への重大な影響は、ユーザーエクスペリエンスの一部として受け入れられません。 LLM と SD のサポートを現在利用可能な 4 に統合したため、^th 世代アーキテクチャでは、私たちが構築できる中で最もメモリ効率が高く、使用率が最も高く、レイテンシが最も低い NPU IP を提供することに重点を置いて設計されました。私たちは、これらの新しいネットワークタイプの基礎となる仕組みを詳しく調べました。データの移動、伝播、依存関係など…将来のニーズに最適に適合するようにハードウェアとソフトウェアの両方のアーキテクチャを進化させる正しい方法を理解するため。私たちがどのように進化したかの例として、私たちの 4 つは^th 生成アーキテクチャは、従来の RNN および CNN スタイルのネットワークで市場をリードする処理効率を維持しながら、LLM および SD 用に最適化された新しい行列乗算とベクトルブロックを備えています。

-2024 年の最大の成長分野は何だと思いますか?またその理由は何ですか?

>> 当社の最大の成長分野の 2024 つは、XNUMX 年に自動車におけるますます多様な AI 導入をサポートすることです。ほとんどの人は、ビジュアルベースのネットワークの自動運転スタックにおける AI の使用法に精通していると思われますが、さらに多くの機会と使用法が出現しつつあります。確かに、他の多くの市場と同様に、自動車での LLM の使用が急増しています。しかし、ドライバーの注意力、後部座席の乗員検知、インフォテインメント、予知保全、パーソナライゼーションなど、自動車の他の側面でも AI の使用が増加しています。これらはすべて、消費者に可能な限り最高のユーザーエクスペリエンスを提供することを目的としており、AI を導入する主な理由の XNUMX つです。ただし、これらすべての用途における AI 処理のニーズは、実際のパフォーマンス能力だけでなく、ユースケースが示すニューラルネットワークの種類によっても大きく異なります。

-この成長に対して御社はどのように取り組んでいますか？

>> 前述の LLM および SD サポートに加えて、Expedera の 4^th 生成アーキテクチャも簡単にカスタマイズできます。 Expedera が顧客と新しいデザインインに取り組む場合、当社は IP を最適にカスタマイズできるよう、すべてのアプリケーション条件 (パフォーマンス目標、必要なネットワークサポート、エリアと電力の制限、将来のニーズなど) を理解するよう努めます。、顧客が望まないものを犠牲にすることなく、顧客が望むものを正確に提供します。お客様がさまざまな用途に対応する集中型の高性能エンジンと、さまざまなネットワークのサポートを希望する場合、当社はそれをサポートします。お客様が特定のタスクとネットワークのみを処理する分散型エンジンの導入を希望する場合は、それもサポートできます。あるいはその中間の場合でもサポートできます。そして、これらはすべて同じ IP アーキテクチャからのものであり、市場投入までの時間のペナルティなしで実行されます。

-2023年にどのようなカンファレンスに参加しましたか?また、トラフィックはどうでしたか?

>>Expedera は、Embedded Vision Summit、AI Hardware & AI Summit、および CES のような大規模なイベントを含む (ただしこれらに限定されない)、エッジ AI に焦点を当てた対象を絞ったカンファレンスグループに出展します。これらのイベントのトラフィックは 2022 年と同等、つまり立派なもののようでした。 AI は明らかに今日のテクノロジー業界で非常にホットなトピックであり、どの企業も AI を自社の製品、ワークフロー、設計プロセスに統合する方法を検討しています。したがって、これらのイベントにはますます多様な参加者が増えており、その全員が異なるニーズや期待を持っています。

-2024年にはカンファレンスに参加しますか？同じかそれ以上ですか？

>>2024 年には、特にテクノロジーに焦点を当てたカンファレンス計画が若干拡大される可能性があります。半導体エコシステムの一部として、Expedera は孤立した状態で存在するわけにはいきません。私たちは過去のイベントで、ハードウェアとソフトウェアのスタックだけでなく、スマートフォン向けのセキュリティ中心の常時検知 NPU などの実装についても話しました。今年は、春後半に開催されるカンファレンスも含め、LLM のエッジ実装の詳細に多くの時間を費やす予定です。たくさんの皆様にお会いできるのを楽しみにしています！