ゼファーネットのロゴ

AIは、データセンターの運営について知っていることすべてを混乱させる必要がありますか?

日付:

スポンサー 過去XNUMX年間で、企業はデータセンターの管理を芸術に落とし込みました。 標準化と自動化は、生の計算と消費電力の両方の観点から、効率の向上を意味します。 仮想化やコンテナ化などのテクノロジーは、ユーザーと開発者がリソースをより効率的に使用して、セルフサービスの展開を可能にすることを意味します。

ただし、最新のデータセンターに燃料を供給する汎用x86アーキテクチャは、AIワークロードの実行にはまったく適していません。 AIの研究者は、GPUテクノロジーを転用してAIの運用を加速することでこれを回避しました。これが、過去XNUMX年ほどにわたって機械学習の画期的なイノベーションを後押ししてきました。

ただし、これはAIワークロードを実行したい企業にとって問題となります。 通常、CPUホストとアクセラレータのアプローチは、GPUとx86ベースのホストコンピューティングを統合する単一のボックスを購入することを意味します。 これにより、エンタープライズインフラストラクチャチームの警告音が鳴り始める可能性があります。 このようなシステムは理論的にはプラグアンドプレイである可能性がありますが、多くのラックスペースを占有する可能性があり、主流のコンピューティングに異なる電力と冷却の要件を課す可能性があります。 また、コンピューティングとGPUアクセラレータの比率が固定されているため、柔軟性がない場合があり、ホストのコンピューティング要件が異なる複数のワークロードをジャグリングする場合の柔軟性が制限されます。

研究者やデータサイエンティストがこれまで以上に大きなモデルやデータセットを使用しているため、AIの馬力を拡大してペースを維持することは、別の新しいシステムを購入することの問題になります。 その後、別の。 そしてもう一つ。 しかし、これはホストコンピューティングとAIアクセラレーションの間の不均衡に対処することはほとんどありません。

そして、高度に調整されたデータセンターの残りの部分は? ええと、すべてのAIワーククラウドがサイロで行われているときは、それを実際に活用することはできません。 これにより、経験豊富なCIOとインフラストラクチャ管理者は、高度に専門化されたAIに焦点を合わせたキットが、目の前で取り残されたリソースのサイロに変化する可能性について当然のことながら神経質になります。

AIの開梱

したがって、GraphcoreのSVPシステムであるOlaTørudbakkenは、AI、つまりマシンインテリジェンスは、必然的に(従来の)コンピューティング、ネットワーキング、ストレージと並んでデータセンターのXNUMX番目の柱になると述べていますが、これは黒の形であってはならないとも述べています。ボックスシステム。

むしろ、英国を拠点とするAIシステムメーカーは、AIの火力をホストコンピューティングから分解し、最新のデータセンターに簡単に収まるだけでなく、最大限に活用できる形式でパッケージ化する必要があると主張しています。

そこで、IPU-PODシステムファミリが登場します。IPU-PODは、2000ペタフロップスのAIコンピューティングを提供する1UブレードであるIPU-M1に基づくシステム構成のファミリです。 各マシンには、200つのGC2、Mk1472 Colossus Intelligence Processing Unit、またはIPUが含まれ、それぞれが900の独立したコアまたはタイルを備え、それぞれがXNUMXつの同時スレッドを実行でき、同じシリコン上でXNUMXMBのインプロセッサーメモリを共有します。

データセンターの運用方法により適したAIコンピューティングリソースをデータセンターに装備しようとしているCIO / CTOの出発点は、IPU-POD16とIPU-POD64です。

IPU-POD64は、2000台のIPU-M1、データおよび管理スイッチ、および分解された4台または16台のホストサーバーの選択肢で構成されています。 16.16ペタフロップスFP20の計算能力を提供し、サーバーの割り当てに応じて16つ以上のラックに分散して約16RUのラックスペースを占有します。 IPU-POD4は、テクノロジーを使ってイノベーションの旅を探求し、開始したい方のための、より入門的な製品です。 IPU-POD16.16には、事前構成されたプラグアンドプレイシステムであるダイレクトアタッチと、スイッチを使用する代替のXNUMXつのフレーバーがあります。 どちらのバリアントも単一のホストサーバーを採用し、XNUMXペタフロップスFPXNUMXの計算マッスルを提供します。

スケールアウトは、Graphcoreが設計した社内ゲートウェイチップを使用して、各IPU-M2000に組み込まれています。 このデバイスは、隣接するIPU-PODラックに対して横方向に各方向で100Gbpsの通信をサポートします。 IPU-Fabric相互接続の一部として、これらの接続は直接またはスイッチを介して行うことができ、柔軟性とフェイルオーバーを軽減します。 スケールアウトの基礎は、総帯域幅が2.8TbpsのGraphcoreのIPUファブリックです。 2000個のM64がラック内でスケールアップされ、IPU-POD3が作成されます。 ラック間通信の場合、IPUファブリックをスイッチド1024Dトーラストポロジで構成して、数千のIPUと最大2000のIPU-M16をサポートし、XNUMXエクサフロップのコンピューティングを提供する超並列システムを作成できます。

この細分化されたアプローチは、ハイパースケーラーと企業の両方が、サポートする必要のあるサーバーSKUの数を最小限に抑えたいという要望に応えます。 Graphcoreシステムは事実上「ネットワーク接続」されているとTørudbakkenは言います。 お客様は、業界標準の機械学習フレームワークをサポートするGraphcoreのPoplarソフトウェアを好みのサーバーにインストールするだけで、IPUベースのシステムにホストコンピューティングを提供できます。 重要なのは、問題のAIワークロードに応じて、サーバー容量を段階的に増減できることです。 したがって、NLPタイプのワークロードは通常、ホストコンピューティングとIOの比率を低くする必要がありますが、コンピュータービジョンワークロードは通常、ホストに高い負荷をかけます。

分解には、弾力性の面でも利点があります、とTørudbakkenは言います。 「障害が発生した場合、そしてサーバーに障害が発生した場合は、ネットワークスタックが提供する標準のフェイルオーバープロトコルを利用できます。 したがって、サーバーまたは仮想マシンに障害が発生した場合は、それを別のサーバーまたはスタンバイ仮想マシンに移行できます。」

IPUファブリックは、コンパイルされた通信と大規模をサポートするように設計されています。 データサイエンティストがPoplarを使用してコードをコンパイルすると、モデルはIPU-PODシステム全体に連続したIPUリソースとしてマッピングされ、基本的には1000つの巨大なIPUであるかのように、プロセッサ上の個々のコアに至るまで、 XNUMXつのIPUであるか、XNUMXにスケールアップするかにかかわらず、手元にある機械学習モデル。 その結果、システムが大幅にスケールアウトされたとしても、決定論的でジッターのない通信が可能になるとGraphcoreは言います。

しかし、Tørudbakkenによれば、ユーザーは「ハードウェアやシステムについてはそれほど気にしません。基本的に、コードを実行できる非常にスケーラブルなプラットフォームを望んでいます」。

そのコードの実行速度については、Graphcoreの最新のベンチマークによると、BERT-Largeでのトレーニング時間はDGX A100 GPUベースのシステムと比較してIPU-PODシステムを使用すると半分以上になり、推論のスループットは2000倍以上になります。最小のレイテンシ。 マルコフ連鎖モンテカルロワークロードでは、IPU-M48は100時間未満でトレーニングジョブを実行しましたが、AXNUMXGPUではXNUMX時間でした。

より現代的なモデルでは、改善がさらに顕著になります。 IPU-M2000は、EfficientNet-B4でのトレーニングスループットを18倍に向上させ、IPUに最適化された構成で2000倍に向上させました。 推論では、IPU-M60は、GPUシステムと比較して、スループットが16倍に増加し、遅延がXNUMX分のXNUMXに減少しました。 これは間違いなくデータサイエンティストを喜ばせるでしょうが、彼らのインフラストラクチャの同僚は、「システムは最適に実行されており、失敗する可能性が高いか」などの質問から始めて、はるかに多くの懸念を抱く可能性があります。 IPU-PODシステムは、システム管理と可観測性を可能にする管理ソフトウェアスイートによって完全にサポートされています。

OpenBMC、RedFish DTMF、Prometheus、Grafanaなどの業界標準のオープンソースエンタープライズツールで構成され、管理システム統合のための十分に文書化されたオープンAPIが提供されています。早い段階でそれについての警告」とTørudbakkenは言います。 「つまり、サポートワーカーを派遣して交換するか、DIMMが故障しそうな場合は、同じことを行うことができます。」

また、インフラストラクチャチームは、AIギアへの投資を最大限に活用していることにも非常に懸念を抱いています。つまり、AIギアが可能な限り多くのワークロード、ジョブ、チームをサポートすることを意味します。

誰かのためのAI?

IPU-PODアーキテクチャは数万のIPUにスケールアウトできますが、データサイエンティストがモデルを実行するための魅力的なキャンバスを作成します。Tørudbakkenが言うように、実際には、XNUMX人のユーザーがすべてを占有するケースはほとんどありません。 AIの計算能力:「通常、複数のユーザーがいて、システムを使用するだけの複数のテナントがいます。」 これは、堅牢なリソース管理が必要であることを意味します。 Graphcoreのソフトウェアスタックを使用すると、「仮想IPU」を作成できます。「これにより、基本的に、ポッドを完全に分離された複数の仮想ポッドに分割できます。 XNUMXつの仮想ポッド内のIPUまたはシステムは、隣接するポッド内の他のIPUと通信できません。」

これは、SLURMやKubernetesなどの業界標準のオーケストレーションツールのサポートと連携しているため、ホスト上で実行されている仮想マシンまたはコンテナーをIPUシステムのVPODに関連付けることができます。 Tørudbakkenが言うように、ハイパースケールレベルで話しているか、単一のラックで話しているかにかかわらず、データサイエンティストはモデルを実行するために可能な限り多くのパワーを持つことに焦点を当てていますが、マネージャーまたは会社は、「このリソースは私のものであり、私のものだけです。」

これは、多くの組織がハイパースケーラーまたはXNUMX月に開始されたGraphcore独自のベアメタルクラウドサービスであるGraphcloudを介してIPUを初めて体験する可能性があるという期待に応えます。 ただし、Tørudbakkenは、プライバシー、機密性、遅延の理由から、多くの人が最終的にマシンインテリジェンスをオンプレミスに持ち込みたいと考えています。 そうすることで、彼らは総所有コストに関するいくつかの非常に伝統的な方程式を実行することになります。 運用上の質問のXNUMXつは、「BERTジョブを実行するために、実際にどのくらいの電力を消費しますか? XNUMX年間? ボックスレベルだけでなくシステムレベルでも両方を見ると、ソリューションは非常に魅力的です。」

設備投資の観点から、方程式はさらに簡単です。 「彼らが本当に追加する必要がある唯一の新しいコンポーネントは、IPU-M2000ベースのIPU-PODシステムです。 残りのネットワークとストレージは、多くの人がすでに持っているものです。」

そして、それは間違いなく、データセンターにマシンインテリジェンスを導入するときと同じくらい無停止です。

グラフコアが後援

コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典:https://go.theregister.com/feed/www.theregister.com/2021/05/13/does_ai_disrupt_running_a_datacenter/

スポット画像

最新のインテリジェンス

スポット画像