AIモデルは、 電力消費者.
アルゴリズムが成長し、より複雑になるにつれて、現在のコンピューター チップへの負担が増大しています。複数の企業が消費電力を削減するために AI に合わせたチップを設計しました。しかし、それらはすべて、電気を使用するという 1 つの基本的なルールに基づいています。
今月、中国の清華大学のチームがレシピを変更した。彼らは ニューラルネットワークチップを構築しました 電気ではなく光を使用して、わずかなエネルギーコストで AI タスクを実行します。 NVIDIAのH100、AI モデルのトレーニングと実行に使用される最先端のチップ。
Taichi と呼ばれるこのチップは、2 種類の光ベースの処理を内部構造に組み合わせています。以前と比較して 光学チップ, Taichi は、手書きの数字やその他の画像の認識など、比較的単純なタスクでははるかに正確です。前任者とは異なり、このチップはコンテンツも生成できます。たとえば、オランダの芸術家フィンセント ファン ゴッホをベースにしたスタイルで基本的な画像を作成したり、ヨハン セバスティアン バッハからインスピレーションを得たクラシック音楽の曲を作成したりできます。
Taichi の効率の一部はその構造によるものです。チップはチップレットと呼ばれる複数のコンポーネントで構成されています。脳の組織と同様に、各チップレットは独自の計算を並行して実行し、その結果が他のチップレットと統合されて解決策が得られます。
1,000 カテゴリを超える画像を分離するという困難な問題に直面しましたが、Taichi はほぼ 92% の確率で成功し、現在のチップのパフォーマンスに匹敵しながら、エネルギー消費を XNUMX 分の XNUMX 以上削減しました。
AI にとって、「より高度なタスクを処理する傾向は、不可逆的である」と著者らは書いています。 「Taichi は大規模なフォトニック（光ベースの）コンピューティングへの道を切り開き」、より低いエネルギーコストでより柔軟な AI につながります。
肩のチップ
今日のコンピューター チップは AI とうまく適合しません。
問題の一部は構造的なものです。従来のチップの処理とメモリは物理的に分離されています。それらの間でデータをやり取りするには、膨大なエネルギーと時間がかかります。
このセットアップは、比較的単純な問題を解決するには効率的ですが、ChatGPT を強化する大規模な言語モデルなどの複雑な AI に関しては、信じられないほど電力を消費します。
主な問題は、コンピューターチップがどのように構築されるかです。各計算はトランジスタに依存しており、トランジスタは計算で使用される 0 と 1 を表すためにオンまたはオフになります。エンジニアは、チップ上にさらに多くのトランジスタを詰め込めるように、数十年にわたってトランジスタを大幅に縮小してきました。しかし、現在のチップ技術は、これ以上小型化できない限界点に向かって進んでいます。
科学者たちは長い間、現在のチップを改良することを模索してきました。脳にヒントを得た戦略の 1 つは、同じ場所で情報を計算して保存する「シナプス」（ニューロンを接続する生物学的な「ドック」）に依存しています。これらの脳にヒントを得た、またはニューロモーフィックなチップは、エネルギー消費を削減し、計算を高速化します。しかし、現在のチップと同様に、それらは電気に依存しています。
もう 1 つのアイデアは、まったく異なるコンピューティング メカニズム、つまり光を使用することです。 「フォトニック・コンピューティング」は「ますます注目を集めている」と著者らは書いている。電気を使うのではなく、光の粒子を乗っ取って光の速さでAIを動かすことも可能かもしれない。
Let There Be Light
電気ベースのチップと比較して、光は消費電力がはるかに少なく、同時に複数の計算に取り組むことができます。これらの特性を利用して、科学者たちは、AI チップに電気の代わりに光子 (光の粒子) を使用する光ニューラル ネットワークを構築しました。
これらのチップは 2 つの方法で動作します。 1 つは、チップが光信号を操作されたチャネルに散乱させ、最終的に光線を結合して問題を解決するというものです。回折と呼ばれるこれらの光ニューラル ネットワークは、人工ニューロンを密に詰め込み、エネルギー コストを最小限に抑えます。しかし、それらは簡単には変更できません。つまり、単一の単純な問題にしか取り組むことができません。
異なる設定は、干渉と呼ばれる光の別の特性に依存します。海の波のように、光の波は結合し、互いに打ち消し合います。チップ上のマイクロトンネル内では、それらが衝突してお互いを強化したり抑制したりする可能性があり、これらの干渉パターンを計算に使用できます。干渉に基づくチップは、干渉計と呼ばれるデバイスを使用して簡単に再構成できます。問題は、物理的に大きく、大量のエネルギーを消費することです。
あとは精度の問題ですね。干渉実験によく使用される彫刻されたチャネルでも、光は跳ね返ったり散乱したりするため、計算の信頼性が低くなります。単一の光ニューラル ネットワークの場合、エラーは許容できます。しかし、光ネットワークが大規模になり、問題がより複雑になると、ノイズが指数関数的に増加し、耐えられなくなります。
これが、光ベースのニューラル ネットワークを簡単にスケールアップできない理由です。これまでのところ、彼らは数字や母音の認識などの基本的なタスクしか解決できていません。
「既存のアーキテクチャの規模を拡大しても、それに比例してパフォーマンスは改善されません」とチームは書いています。
ダブル·トラブル
新しい AI である Taichi は、2 つの特性を組み合わせて、光ニューラル ネットワークを現実世界での使用に向けて推進しました。
チームは、単一のニューラル ネットワークを構成するのではなく、タスクのさまざまな部分を複数の機能ブロックに委任するチップレット方式を使用しました。各ブロックには独自の長所がありました。1 つは回折を分析するために設定され、短時間で大量のデータを圧縮できました。別のブロックには干渉を提供する干渉計が埋め込まれており、タスク間でチップを簡単に再構成できるようになりました。
深層学習と比較して、Taichi はタスクが複数のチップレットに分散される「浅い」アプローチを採用しました。
標準的な深層学習構造では、レイヤーや時間の経過とともにエラーが蓄積する傾向があります。この設定により、逐次処理から生じる問題を芽のうちに摘み取ります。問題に直面した場合、Taichi はワークロードを複数の独立したクラスターに分散し、最小限のエラーでより大きな問題に簡単に対処できるようにします。
戦略は報われた。
Taichi は合計 4,256 個の人工ニューロンの計算能力を備えており、学習と記憶をコード化する脳の接続を模倣する 14 万近くのパラメーターを備えています。画像を1,000のカテゴリに分類した場合、フォトニックチップの精度はほぼ92パーセントで、「現在普及している電子ニューラルネットワーク」に匹敵すると研究チームは書いている。
このチップは、異なるアルファベットの手書き文字の識別など、他の標準的な AI 画像認識テストでも優れた成績を収めました。
最終テストとして、チームはフォトニック AI にさまざまなアーティストやミュージシャンのスタイルでコンテンツを把握して再作成することに挑戦しました。バッハのレパートリーでトレーニングを受けると、AI は最終的に音楽家のピッチと全体的なスタイルを学習しました。同様に、有名な絵画の背後にある芸術家であるファン ゴッホやエドヴァルド ムンクの画像、 悲鳴AI に入力すると、同様のスタイルの画像を生成できるようになりましたが、その多くは幼児のレクリエーションのように見えました。
光ニューラルネットワークには、まだまだ発展すべき点がたくさんあります。しかし、広く使用されれば、現在の AI システムに代わるよりエネルギー効率の高い代替手段となる可能性があります。 Taichi は、以前のバージョンよりもエネルギー効率が 100 倍以上優れています。しかし、このチップには依然として電力およびデータ転送ユニット用のレーザーが必要であり、これらを凝縮するのは困難です。
次にチームは、すぐに入手できるミニレーザーやその他のコンポーネントを単一の凝集したフォトニックチップに統合したいと考えています。一方、彼らは、Taichiが「より強力な光学ソリューションの開発を加速」し、最終的には強力でエネルギー効率の高いAIの「新時代」につながる可能性があることを期待している。
画像のクレジット： スパインターvfx / Shutterstock.com
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/
