スポンサー記事
業界における AI の使用の拡大により、機械学習 (ML)、深層学習、さらには大規模な言語モデルなど、より複雑なアプローチが加速しています。これらの進歩は、エッジでの使用が予想される大量のデータを垣間見ることができます。現在の焦点はニューラル ネットワークの動作を高速化する方法にありますが、マイクロンはエッジの AI 向けに改良されたメモリとストレージの作成に注力しています。
合成データとは何ですか？
IDCは予測します 2025 年までに 175 人になるだろう ゼータバイト (1 ゼタバイト = 1 億テラバイト) の新しいデータが世界中で生成されます。これらの量を把握するのは困難ですが、AI の進歩により、データ不足のシステムの限界は今後も押し広げられるでしょう。
実際、増え続ける AI モデルは、直接測定や物理画像から得られる実際の物理データの量によって抑制されてきました。すぐに入手できる 10,000 枚のオレンジの画像のサンプルがあれば、オレンジを識別するのは簡単です。ただし、特定のシーンを比較する必要がある場合 (たとえば、ランダムな群衆と組織的な行進、または焼いたクッキーと完璧なクッキーの異常など)、ベースラインを作成するためのさまざまなサンプルがすべて揃っていない限り、正確な結果を確認するのは困難になることがあります。モデル。
業界ではますます使用が進んでいます 合成データ。合成データは、たとえば同じ画像の統計的現実を提供するシミュレーション モデルに基づいて人工的に生成されます。このアプローチは、物理画像のベースラインが固有であり、有効なモデル表現を提供するのに十分な「ウィジェット」が Web 上に見つからない産業用ビジョン システムに特に当てはまります。
もちろん、課題は、これらの新しい形式のデータがどこに存在するかです。確かに、作成された新しいデータセットは、クラウドに保存するか、より独自の表現を必要とする場合はデータを分析する必要がある場所の近く、つまりエッジに保存する必要があります。
モデルの複雑さとメモリの壁
アルゴリズムの効率と AI モデルのパフォーマンスの間の最適なバランスを見つけることは、データの特性と量、リソースの可用性、消費電力、ワークロード要件などの要因に依存するため、複雑な作業です。
AI モデルは、パラメーターの数によって特徴付けることができる複雑なアルゴリズムです。パラメーターの数が多いほど、結果はより正確になります。業界は、実装が簡単でネットワーク パフォーマンスのベースラインとなった ResNet50 などの共通のベースライン モデルからスタートしました。しかし、そのモデルは限られたデータセットと限られたアプリケーションに焦点を当てていました。これらのトランスが進化するにつれて、トランスの進化によりパラメーターが増加するだけでなく、パラメーターも増加していることがわかります。 メモリ帯域幅。この結果は明らかな負担です。モデルが処理できるデータ量に関係なく、モデルとパラメーターに使用できるメモリとストレージの帯域幅によって制限されます。
簡単に比較するために、組み込み AI システムのパフォーマンスを次の図で見ることができます。 XNUMX秒あたりの操作があります （トップス）。ここで、100 TOPS 未満の AI エッジ デバイスには約 225 GB/s のメモリ帯域幅が必要であり、100 TOPS を超えるものには 451 GB/s のメモリ帯域幅が必要であることがわかります (表 1)。
したがって、そのモデルを最適化する 1 つの方法は、消費電力が最も低く、より高性能なメモリを検討することです。
メモリは、新しい標準に合わせて進化することで、AI 高速ソリューションに対応しています。たとえば、LPDDR4/4X (低電力 DDR4 DRAM) および LPDDR5/5X (低電力 DDR5 DRAM) ソリューションは、以前のテクノロジーに比べてパフォーマンスが大幅に向上しています。
LPDDR4 は、ピンあたり最大 4.2 GT/s (ピンあたり 64 秒あたりのギガ転送) で実行でき、最大 x5 バス幅をサポートします。 LPDDR50X は、LPDDR4 に比べてパフォーマンスが 8.5% 向上し、ピンあたりのパフォーマンスが 5GT/s に倍増します。さらに、LPDDR20 は LPDDR4X よりも XNUMX% 優れた電力効率を提供します (出典: Micron)。これらは、拡大する AI エッジのユースケースに対応する必要性をサポートできる重要な開発です。
保管上の考慮事項は何ですか?
コンピューティング リソースがプロセッシング ユニットの生の TOP やメモリ アーキテクチャの帯域幅によって制限されると考えるだけでは十分ではありません。 ML モデルがより洗練されるにつれて、モデルのパラメーターの数も指数関数的に増加しています。
機械学習のモデルとデータセットは、より優れたモデル効率を達成するために拡張されるため、より高性能な組み込みストレージも必要になります。 5.1 Gb/s の e.MMC 3.2 などの一般的なマネージド NAND ソリューションは、コードの起動だけでなく、リモート データ ストレージにも最適です。さらに、UFS 3.1 などのソリューションは 23.2 倍高速 (XNUMX Gb/s) で実行できるため、より複雑なモデルが可能になります。
新しいアーキテクチャでは、通常はクラウドや IT インフラストラクチャに追いやられていた機能もエッジにプッシュされています。たとえば、エッジ ソリューションは、制限された運用データと IT/クラウド ドメインの間にエア ギャップを提供するセキュア レイヤーを実装します。エッジの AI は、保存されたデータの分類、タグ付け、取得などのインテリジェントな自動化もサポートします。
3D TLC NAND をサポートする NVMe SSD などのメモリ ストレージ開発は、さまざまなエッジ ワークロードに高いパフォーマンスを提供します。たとえば、Micron の 7450 NVMe SSD は、ほとんどのエッジおよびデータセンターのワークロードに最適な 176 層 NAND テクノロジーを使用しています。 2ms のサービス品質 (QoS) 遅延を備えており、SQL サーバー プラットフォームのパフォーマンス要件に最適です。また、 FIPS140-3レベル2 & TAA準拠 米国連邦政府の調達要件に対応。
成長する AI エッジ プロセッサのエコシステム
Allied Market Research は、AI エッジ プロセッサ市場が 9.6 年までに 2030 億米ドルに成長すると予測しています。 4 しかし興味深いことに、この新しい AI プロセッサ新興企業グループは、よりスペースと電力に制約のあるエッジ アプリケーションに向けた ASIC と独自の ASSP を開発しています。これらの新しいチップセットは、メモリおよびストレージ ソリューションに関して、パフォーマンスと電力のトレードオフ バランスも必要とします。
さらに、AI チップセット ベンダーがエンタープライズおよびデータセンターの標準フォーム ファクター (EDSFF) アクセラレータ カードを開発していることがわかります。このカードは 1U ソリューションにインストールでき、AI/ML 推論からビデオ処理まで、あらゆるワークロードの高速化に適応できるストレージ サーバーとともに配置できます。 — 同じモジュールを使用します。
適切なメモリとストレージのパートナーを探すにはどうすればよいでしょうか?
AI はもはや誇大広告ではなく、あらゆる分野で導入されつつある現実のものです。ある研究では、 業界の 89% すでに戦略を持っているか、今後 2 年以内にエッジの AI に関する戦略を立てる予定です。5
しかし、AI の実装は簡単な作業ではなく、適切なテクノロジーとコンポーネントが大きな違いを生みます。メモリとストレージの両方における Micron の最新テクノロジーのポートフォリオは、 IQ の価値提案。 AI エッジ システムを設計している場合は、製品をこれまでよりも早く市場に投入できるよう Micron にお任せください。最寄りのマイクロン代理店またはマイクロン製品の販売代理店にお問い合わせください (www.micron.com).
以下または X 経由でこの記事にコメントしてください: @IoTNow_
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/
