「ストレージ クラス メモリを備えた GPU 向けの帯域幅効率の高い DRAM キャッシュ」というタイトルの新しい技術論文が、POSTECH と Songsil University の研究者によって発表されました。

抽象

「私たちは、大容量のストレージクラス メモリ (SCM) と DRAM キャッシュを使用して、GPU のメモリ容量の制限を克服することを提案します。 SCM でメモリ容量を大幅に増やすことにより、GPU はメモリをオーバーサブスクライブするワークロードに対して HBM よりもメモリ フットプリントの大部分をキャプチャでき、高速化を実現します。ただし、DRAM キャッシュは、コストのオーバーヘッドを最小限に抑え、GPU の特性を考慮しながら、SCM のレイテンシと帯域幅の制限に対処するように慎重に設計する必要があります。膨大な数の GPU スレッドが DRAM キャッシュをスラッシングする可能性があるため、最初に、SCM を使用した GPU によるメモリ アクセスの多次元特性を考慮して、パフォーマンス ユーティリティの低いデータに対して DRAM をバイパスする、GPU 用の SCM 対応 DRAM キャッシュ バイパス ポリシーを提案します。さらに、DRAM キャッシュ プローブを削減し、最小限のコストで効果的な DRAM BW を増やすために、L2 キャッシュの一部を DRAM キャッシュライン タグのキャッシュに再利用する構成可能タグ キャッシュ (CTC) を提案します。 CTC に使用される L2 容量は、適応性を考慮してユーザーが調整できます。さらに、CTC ミスによる DRAM キャッシュ プローブ トラフィックを最小限に抑えるために、AMIL (Aggregated Metadata-In-Last-column) DRAM キャッシュ構成により、すべての DRAM キャッシュライン タグが行内の 12.5 つの列に配置されます。また、AMIL は、以前の DRAM キャッシュのタグアンドデータ (TAD) 構成とは異なり、完全な ECC 保護を保持します。さらに、電力を削減するための SCM スロットリングと、ワークロードのメモリ フットプリントに適応するための SCM の SLC/MLC モードの利用を提案します。当社の技術はさまざまな DRAM および SCM デバイスに使用できますが、高性能を実現するために DRAM ダイの上に SCM ダイをスタックするヘテロジニアス メモリ スタック (HMS) 構成に焦点を当てています。 HBM と比較して、HMS はパフォーマンスを最大 2.9 倍 (全体で 89.3 倍) 向上させ、エネルギーを最大 48.1% (全体で 91%) 削減します。以前の作業と比較して、DRAM キャッシュ プローブと SCM 書き込みトラフィックをそれぞれ 93 ～ 57% と 75 ～ XNUMX% 削減しました。」

技術を見つける ここに紙。 2024 年 XNUMX 月発行。

ホン、ジョンミン、チョ・ソンジュン、パク・ゴヌ、ヤン・ウォニョク、ゴン・ヨンホ、キム・グァンソン。 「ストレージ クラス メモリを備えた GPU 向けの帯域幅効率の高い DRAM キャッシュ」 arXivプレプリントarXiv：2403.09358 とします。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://semiengineering.com/dram-cache-for-gpus-with-scm-and-high-bandwidth/