分析 量子コンピューティングの実現は10年以上も先のことだが、業界の専門家らによると、量子コンピューティングがAIの飽くなき欲求を抑える秘密を握っている可能性があるという。
月が経つごとに、より大規模でパラメータ密度の高いモデルが登場し、それに伴って AI 導入の規模も拡大しています。今年だけでも、Meta のようなハイパースケーラーは次のことを計画しています。 展開します 何十万もの加速器。 OpenAIの創設者であるサム・アルトマン氏は今でも 確信 AI の開発をさらに進めるには、飛躍的に多くのコンピューティングが必要になります。
したがって、OpenAI が最新の採用を行ったのは驚くべきことではありません。 でしょう 可能な限り量子コンピューティングへの賭けをヘッジしている。先週、AI の巨人は、PsiQuantum の元量子システム アーキテクトである Ben Bartlett をその仲間に加えました。
私たちは、バートレット氏が AI トレンドセッターで何をするかについて詳しく知るために Open AI に問い合わせましたが、返答はありませんでした。しかし、彼の バイオ 彼の研究の多くは量子物理学、機械学習、ナノフォトニクスの交差点に焦点を当てており、「基本的には、光子を騙して有用な計算を実行させるための小さなレーストラックを設計することで構成されています」
それでは、OpenAI は量子物理学者に対して正確に何を望んでいるでしょうか?そうですね、量子最適化を使用してトレーニング データセットを合理化したり、量子処理装置 (QPU) を使用して複雑なグラフ データベースをオフロードしたり、光学を使用して最新の半導体パッケージングの限界を超えてスケールしたりするまで、いくつかの可能性があります。
ニューラル ネットワークは単なる最適化問題の 1 つです
量子コンピューティングには、大規模な AI モデルのトレーニング効率が大幅に向上し、より少ないパラメーターでモデルからより正確な答えを導き出せる可能性があると D-Wave のマレー トム氏は語ります。 登録.
GPT-4 には 1 兆を超えるパラメーターがあると噂されているため、これが魅力的である理由を理解するのは難しくありません。量子化やその他の圧縮戦略に頼らない場合、AI モデルは、FP8 または Int8 精度およびそれよりも大幅に高い精度で実行する場合、XNUMX 億パラメータごとに約 XNUMX GB のメモリを必要とします。
数兆のパラメータ モデルは、単一の AI サーバーが効率的に対応できる限界に近づいています。複数のサーバーを連結して大規模なモデルをサポートすることもできますが、そのままにしておくとパフォーマンスが低下します。
そしてそれが今日です。そして、アルトマンの主張が正しければ、これらのモデルはさらに大きくなり、さらに普及することになるだろう。そのため、パラメータ数を大幅に増やすことなく OpenAI のモデルの機能を向上させることができるテクノロジーがあれば、OpenAI は有利になる可能性があります。
「モデルをトレーニングする際、モデルに含まれるパラメーターの数が実際にモデルのトレーニングのコストと複雑さを左右します」と D-Wave ソフトウェアおよびアルゴリズム担当副社長の Trevor Lanting 氏は語ります。 登録.
これを回避するために、開発者は特定のモデルをトレーニングするために最も重要だと思われる機能をサブ選択することが多く、これにより必要なパラメーターの数が削減されると同氏は説明します。
しかし、D-Wave は、従来のシステムを使用してこれを実行しようとするのではなく、量子最適化アルゴリズムがどの特徴を残すか除外するかを決定するのにより効果的である可能性があると主張しています。
よく知らない方のために説明すると、経路探索やロジスティクスで一般的に見られるような最適化問題は、これまでのところ量子コンピューティングの最も有望なアプリケーションの 1 つであることが証明されています。
「私たちの量子コンピューターが本当に得意なのは、誰かに特定のスケジュールが割り当てられたり、特定の配達が割り当てられたりするなど、物事が起こっているか起こっていない状況を最適化することです」とトム氏は語った。 「これらの決定が独立していれば問題ありませんし、古典的なコンピューターでも簡単に実行できますが、実際にはプール内の他のリソースに影響を及ぼし、一種のネットワーク効果が発生します。」
つまり、現実世界はめちゃくちゃなのです。道路上には複数の車両が存在し、通行止め、気象現象などが発生する可能性があります。古典的なコンピューターと比較して、量子コンピューターに固有の固有の属性により、これらの要素を同時に調査して最適なルートを特定することができます。
これは、「ニューロンが発火しているか発火していないかのニューラルネットワークに完全に似ており、ニューロンとニューロンは他のニューロンとのシナプス接続を持っており、他のニューロンの発火を興奮または抑制します」とトム氏は説明する。
そしてこれは、量子アルゴリズムを使用して特定の要件に合わせて AI トレーニング データセットを最適化できることを意味し、トレーニングすると、より無駄がなく、より正確なモデルが得られると Lanting 氏は主張しました。
量子サンプリングとオフロード
長期的には、D-Wave などは QPU をトレーニング プロセスのさらに深い部分に実装する方法を模索しています。
これらのユースケースの 1 つは、量子コンピューティングをサンプリングに適用することです。サンプリングとは、LLM などの AI モデルが確率の分布に基づいて次の単語、より具体的にはトークンを決定する方法を指します。これが、LLM が強化されたオートコンプリートであるとよく冗談が言われる理由です。
「ハードウェアはサンプルの生成に非常に優れており、分布を調整できるため、それらのサンプルの重み付けを調整できます。そして、私たちが検討しているのは、これが実際にアニーリング量子コンピューティングをトレーニング ワークロードにハードかつより直接的に挿入する良い方法であるかということです」と Lanting 氏は説明しました。
フランスの量子コンピューティングの新興企業である Pasqal も、量子コンピューティングを適用して、ニューラル ネットワークで一般的に見られるグラフ構造データ セットをオフロードすることに取り組んでいます。
「機械学習では、グラフは複雑なオブジェクトであるため、データを古典的に表現する実際に単純な方法はありません」と Pasqal の共同 CEO である Loïc Henriet 氏はインタビューで説明しました。 登録。 「グラフ構造化データを比較的自然に量子力学に埋め込むことができるため、それらのデータを処理する新しい方法がいくつか生まれます。」
しかし、これを達成するには、量子システムがより大きくなり、より高速になる必要があるとヘンリエット氏は説明しました。
「現時点では大規模なデータセットは現実的ではありません」と彼は言う。 「それが、私たちが量子ビットの数を推し進めている理由です。繰り返し率。なぜなら、量子ビットが多ければ、より多くのデータを埋め込むことができるからです。」
量子グラフ ニューラル ネットワークが実用化されるまでにどれくらいの期間待たなければならないのかを言うのは難しいです。 Pasqal はすでに 10,000 量子ビットのシステムを持っています 作品で。残念ながら、研究によると、誤り訂正量子ビットが 10,000 以上、または物理量子ビットだけで約 XNUMX 万個必要になることが示唆されています。 競争する 最新の GPU を搭載。
シリコンフォトニクスの遊び？
珍しい量子 AI のユースケースは別として、OpenAI が追求する可能性のあるテクノロジーは他にもあり、バートレット氏はたまたまその専門家です。
最も注目すべきは、バートレット氏の元雇用主であるサイクアンタム社がシリコン フォトニクスに基づくシステムを開発していることです。これは、彼の雇用が OpenAI に関連している可能性があることを示唆しています 報告 カスタム AI アクセラレータに取り組んでいます。
Ayar Labs、Lightmatter、Celestial AI を含むいくつかのシリコン フォトニクス スタートアップ企業は、機械学習のパフォーマンスを拡張する制限要因となっている帯域幅制限を克服する手段としてこのテクノロジーを推進しています。
ここでの考え方は、光を使用すると、純粋な電気信号を使用するよりもはるかに多くのデータを長距離に送信できるということです。これらの設計の多くでは、光はシリコンにエッチングされた導波管によって実際に運ばれますが、これは「光子のための小さなレーストラックを設計する」ことに非常によく似ています。
ライトマター と考えています このテクノロジーにより、チップから出力されるデータの帯域幅ペナルティを被ることなく、複数のアクセラレータが 1 つとして機能することが可能になります。一方、セレスティアルは次のことを目にします。 機会 アクセラレータ ダイに直接隣接してモジュールをパッケージ化する必要がなくなり、GPU で利用できる高帯域幅メモリの量が大幅に増加します。これらの機能はどちらも、大規模な AI システムを扱う企業にとって魅力的です。
OpenAIが最終的に量子AIを追求するのか、シリコンフォトニクスを追求するのかはまだ分からないが、創業者が長期投資に慣れている企業にとって、アルトマン氏が支援するのはそれほど奇妙なことではないはずだ。 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/
