人工知能アルゴリズムは、現在のペースで成長し続けることはできません。 深層ニューラル ネットワークのようなアルゴリズムは、重みと呼ばれる数値を介して相互にリンクされた複数の人工ニューロン層を備えた、大まかに脳から着想を得たものであり、年々大きくなっています。 しかし、最近のハードウェアの改善は、これらの大規模なアルゴリズムを実行するために必要な膨大な量のメモリと処理能力に追いついていません。 まもなく、AI アルゴリズムのサイズは壁にぶつかるかもしれません。

また、AI の要求を満たすためにハードウェアをスケールアップし続けることができたとしても、別の問題があります。それらを従来のコンピューターで実行すると、膨大な量のエネルギーが浪費されます。 大規模な AI アルゴリズムを実行することで生成される高炭素排出量は、すでに環境に有害であり、アルゴリズムがこれまで以上に巨大になるにつれて、さらに悪化するだけです。

ニューロモーフィック コンピューティングと呼ばれるソリューションの XNUMX つは、生物学的な脳からインスピレーションを得て、エネルギー効率の高い設計を作成します。 残念なことに、これらのチップはエネルギーの節約においてデジタル コンピューターをしのぐことができますが、大規模なディープ ニューラル ネットワークを実行するために必要な計算能力が不足していました。 そのため、AI 研究者が見落としやすくなっています。

それがついに変わったのは XNUMX 月のことでした。 ウェイアー・ワン, H.-S. フィリップ・ウォン, ゲルト・コーウェンバーグ とその同僚 新しいニューロモルフィックチップを明らかにした NeuRRAM と呼ばれ、アルゴリズムを実行するためにハードウェアに組み込まれた 3 万個のメモリ セルと数千個のニューロンを含みます。 抵抗性 RAM (RRAM) と呼ばれる比較的新しいタイプのメモリを使用します。 以前の RRAM チップとは異なり、NeuRRAM はより多くのエネルギーとスペースを節約するためにアナログ方式で動作するようにプログラムされています。 デジタル メモリはバイナリ (1 または 0 のいずれかを格納) ですが、NeuRRAM チップのアナログ メモリ セルはそれぞれ、完全に連続した範囲に沿って複数の値を格納できます。 これにより、チップは大規模な AI アルゴリズムからより多くの情報を同じ量のチップ スペースに保存できます。

その結果、この新しいチップは、画像や音声認識などの複雑な AI タスクでデジタル コンピューターと同等の性能を発揮することができ、著者らは、最大 1,000 倍のエネルギー効率が得られると主張しており、小さなチップがますます複雑なアルゴリズムを実行できるようになる可能性を秘めています。スマート ウォッチやスマートフォンなど、以前は AI に適していなかった小型デバイス内で。

この研究に関与していない研究者は、この結果に深く感銘を受けました。 「この論文は非常にユニークです」と彼は言いました。 王忠瑞、香港大学の長年のRRAM研究者。 「デバイス レベル、回路アーキテクチャ レベル、アルゴリズム レベルなど、さまざまなレベルで貢献しています。」

新しい思い出を作る

デジタル コンピューターでは、AI アルゴリズムの実行中に膨大な量のエネルギーが浪費されますが、これは、すべての計算を非効率にする単純で遍在する設計上の欠陥が原因です。 通常、コンピュータのメモリ (計算中に処理するデータと数値を保持する) は、計算が行われるプロセッサから離れたマザーボード上に配置されます。

プロセッサを介して流れる情報については、「通勤に XNUMX 時間費やしているようなものですが、XNUMX 時間の仕事をしているようなものです」と、スタンフォード大学の元コンピューター科学者で、最近 AI スタートアップの Aizip に移籍した Wan 氏は述べています。

メモリと計算を同じ場所に配置する新しいオールインワン チップでこの問題を解決するのは簡単に思えます。 多くの神経科学者は、計算はニューロンの集団内で行われ、記憶はニューロン間のシナプスが結合を強めたり弱めたりするときに形成されると考えているため、脳が情報を処理する方法にも近い. しかし、現在の形式のメモリはプロセッサのテクノロジと互換性がないため、そのようなデバイスを作成することは困難であることがわかっています。

コンピューター科学者は数十年前に、メモリが保存されている場所で計算を実行する新しいチップを作成するための材料を開発しました。これは、メモリ内計算として知られる技術です。 しかし、従来のデジタル コンピューターのパフォーマンスが非常に優れているため、これらのアイデアは何十年も見落とされていました。

「その研究は、ほとんどの科学的研究と同様に、忘れ去られていました」と、スタンフォード大学のウォン教授は述べています。

確かに、 最初のそのようなデバイス その歴史は少なくとも 1964 年にさかのぼり、スタンフォード大学の電気技師が、金属酸化物と呼ばれる特定の材料を操作して、電気を伝導する能力をオン/オフできることを発見しました。 1 つの状態を切り替える材料の能力は、従来の記憶ストレージのバックボーンを提供するため、これは重要です。 通常、デジタル メモリでは、電圧が高い状態が 0 に対応し、電圧が低い状態が XNUMX に対応します。

RRAM デバイスの状態を切り替えるには、金属酸化物の両端に接続された金属電極に電圧を印加します。 通常、金属酸化物は絶縁体であり、電気を通しません。 しかし、十分な電圧がかかると、電流が増加し、最終的には材料の弱点を押しのけ、反対側の電極への経路を形成します。 電流がいったん突破されると、その経路に沿って自由に流れることができます。

ウォンは、このプロセスを稲妻に例えます。雲の内部に十分な電荷が蓄積されると、抵抗の少ない経路がすぐに見つかり、落雷が発生します。 しかし、経路が消える雷とは異なり、金属酸化物を通る経路は残ります。つまり、無期限に導電性を維持します。 また、材料に別の電圧を印加することで、導電パスを消去することができます。 そのため、研究者は RRAM を XNUMX つの状態の間で切り替え、それらを使用してデジタル メモリを保存できます。

ミッドセンチュリーの研究者は、エネルギー効率の高いコンピューティングの可能性を認識していませんでした。また、彼らが扱っていたより小さなアルゴリズムでは、まだそれを必要としていませんでした。 研究者がその可能性に気付くのに、新しい金属酸化物が発見された 2000 年代初頭までかかりました。

当時 IBM で働いていた Wong は、RRAM に取り組んでいる受賞歴のある同僚が、関連する物理学を完全には理解していなかったことを認めたことを思い出します。 「彼がそれを理解していないのなら、私が理解しようとするべきではないかもしれない」と思ったことをウォンは覚えています。

しかし、2004 年、サムスン電子の研究者は、 RRAMメモリの統合に成功 従来のコンピューティング チップの上に構築されており、コンピューティング イン メモリ チップが最終的に可能になる可能性があることを示唆しています。 ウォンは、少なくとも試してみることにしました。

AI 向けコンピュート イン メモリ チップ

 2015 年以上にわたり、Wong のような研究者は RRAM テクノロジを構築して、強力なコンピューティング タスクを確実に処理できるようにしました。 XNUMX 年頃、コンピューター科学者は、これらのエネルギー効率の高いデバイスが大規模な AI アルゴリズムに利用できる大きな可能性を認識し始めました。 その年、カリフォルニア大学サンタバーバラ校の科学者たちは 示されました RRAM デバイスは、新しい方法でメモリを保存するだけではありません。 それらは、単純な行列乗算タスクであるニューラル ネットワークの人工ニューロン内で行われる大部分の計算を含む、基本的な計算タスク自体を実行できます。

NeuRRAM チップでは、シリコン ニューロンがハードウェアに組み込まれ、RRAM メモリ セルに重み (ニューロン間の接続の強さを表す値) が格納されます。 また、NeuRRAM メモリ セルはアナログであるため、格納される重みは、デバイスが低抵抗状態から高抵抗状態に切り替わる際に発生する抵抗状態の全範囲を表します。 これにより、デジタル処理バージョンのように次々とロックステップで実行するのではなく、チップが多くの行列計算を並行して実行できるため、デジタル RRAM メモリが達成できるよりもさらに高いエネルギー効率が可能になります。

しかし、アナログ処理はデジタル処理よりも数十年遅れているため、まだ解決すべき問題がたくさんあります。 XNUMX つは、アナログ RRAM チップは非常に正確でなければならないということです。これは、物理チップの不完全性が変動性とノイズをもたらす可能性があるためです。 (従来のチップでは、状態が XNUMX つしかないため、これらの不完全性はほとんど問題になりません。) そのため、アナログ RRAM デバイスで AI アルゴリズムを実行することは非常に困難になります。 RRAM デバイスの導通状態は毎回まったく同じではありません。

「照明経路を見ると、毎回異なります」と Wong 氏は言います。 「その結果、RRAM はある程度の確率論を示します。プログラムするたびに、わずかに異なります。」 Wong と彼の同僚は、アルゴリズムがチップ上で遭遇するノイズに慣れるように訓練されていれば、RRAM デバイスが AI の重みを連続的に格納し、デジタル コンピューターと同じくらい正確であることを証明しました。これにより、NeuRRAM チップの製造が可能になりました。

彼らが解決しなければならなかったもう XNUMX つの大きな問題は、多様なニューラル ネットワークをサポートするために必要な柔軟性に関係していました。 これまで、チップ設計者は小さな RRAM デバイスを大きなシリコン ニューロンの隣の XNUMX つの領域に配置する必要がありました。 RRAM デバイスとニューロンは、プログラマビリティなしで配線されているため、計算は一方向にしか実行できませんでした。 双方向計算でニューラル ネットワークをサポートするには、余分な配線と回路が必要であり、エネルギーとスペースの必要性が増大しました。

そのため、Wong のチームは、RRAM メモリ デバイスとシリコン ニューロンを組み合わせた新しいチップ アーキテクチャを設計しました。 設計に対するこの小さな変更により、総面積が削減され、エネルギーが節約されました。

「（編曲は）本当に美しいと思いました」と語った。 メリカ・ペイバンド、スイス連邦工科大学チューリッヒ校のニューロモルフィック研究者。 「間違いなく画期的な作品だと思います。」

数年間、Wong のチームは協力者と協力して、NeuRRAM チップ上で AI アルゴリズムを設計、製造、テスト、調整、および実行しました。 彼らは、コンピューティング イン メモリ チップでも使用できる他の新しいタイプのメモリを使用することを検討しましたが、RRAM は、アナログ プログラミングでの利点と、従来のコンピューティング マテリアルとの統合が比較的容易であったため、有利でした。

彼らの最近の結果は、このような大規模で複雑な AI アルゴリズムを実行できる最初の RRAM チップを表しています。 「実際のシリコンに関して言えば、その能力が欠けていました」と彼は言いました。 アナップ・ダス、ドレクセル大学のコンピューター科学者。 「この作品は最初のデモンストレーションです。」

「デジタル AI システムは柔軟で正確ですが、効率は桁違いです」と Cauwenberghs 氏は述べています。 Cauwenberghs 氏によると、同社の柔軟で正確でエネルギー効率の高いアナログ RRAM チップは、「初めてギャップを埋めた」という。

スケールアップする

チームの設計では、NeuRRAM チップを指の爪ほどの大きさに抑えながら、アナログ プロセッサとして機能する 3 万個の RRAM メモリ デバイスを圧縮しています。 また、少なくともデジタル コンピューターと同様にニューラル ネットワークを実行できる一方で、このチップは (そして初めて) さまざまな方向で計算を実行するアルゴリズムを実行することもできます。 彼らのチップは、RRAMチップの標準と同様に、RRAMアレイの行に電圧を入力し、列から出力を読み取ることができますが、列から行に逆方向に行うこともできるため、動作するニューラルネットワークで使用できますデータはさまざまな方向に流れます。

RRAM テクノロジ自体と同様に、これは以前から可能でしたが、誰も実行しようとは考えていませんでした。 「なぜこれを以前に考えなかったのですか？」 ペイヴァンドは尋ねた。 「後から考えると、私にはわかりません。」

「これにより、実際には他の多くの機会が開かれます」と Das 氏は言います。 例として、彼は、多次元物理シミュレーションや自動運転車に必要な膨大なアルゴリズムを実行する単純なシステムの能力に言及しました。

それでもサイズが問題です。 最大のニューラル ネットワークには、新しいチップに含まれる数百万ではなく、数十億の重みが含まれています。 Wong 氏は、複数の NeuRRAM チップを積み重ねて規模を拡大することを計画しています。

将来のデバイスでエネルギー コストを低く抑えるか、さらに縮小することも同様に重要です。 そこにたどり着くXNUMXつの方法は 脳をコピーする 実際のニューロン間で使用される通信信号である電気スパイクをさらに厳密に採用する必要があります。 これは、細胞の内側と外側の間の電圧差が臨界しきい値に達したときに、あるニューロンから別のニューロンに発せられる信号です。

「そこには大きな課題があります」と彼は言いました トニー・ケニオン、ユニバーシティ カレッジ ロンドンのナノテクノロジー研究者。 「しかし、私たちはまだその方向に進みたいと思っているかもしれません。なぜなら…非常にまばらなスパイクを使用している場合、エネルギー効率が高くなる可能性があるからです。」 ただし、現在の NeuRRAM チップでスパイクするアルゴリズムを実行するには、まったく異なるアーキテクチャが必要になる可能性が高いと Kenyon 氏は述べています。

今のところ、NeuRRAM チップ上で大規模な AI アルゴリズムを実行しながらチームが達成したエネルギー効率は、メモリ技術が AI を使用したコンピューティングの未来を表すかもしれないという新たな希望を生み出しています。 いつの日か、人間の脳の 86 億個のニューロンと、それらをつなぐ数兆個のシナプスに、電力を使い果たすことなく匹敵することさえできるようになるかもしれません。