CEO インタビュー: Mastiska AI のスレシュ・シュグマール - Semiwiki

Suresh は、半導体、人工知能、サイバーセキュリティ、モノのインターネット、ハードウェア、ソフトウェアなどに関する深い専門知識を持つテクノロジー幹部です。彼はこの業界で 20 年間を過ごし、最近ではオープンソースゼロのエグゼクティブディレクターを務めていました。アブダビの Technology Innovation Institute や、Intel、Qualcomm、MediaTek などの他のフォーチュン 500 半導体企業でトラストチップの開発に携わり、さまざまな指導的役割を担い、高性能、エネルギー効率の高い、ポスト量子セキュアで安全なデバイスの研究開発に携わりました。データセンター、クライアント、スマートフォン、ネットワーキング、IoT、AI/ML 市場向けのマイクロチップ/システムオンチップ (SoC)/アクセラレータ。彼は 15 件以上の米国特許を取得しており、20 件以上の会議で出版/発表を行っています。

また、Suresh 氏は、RISC-V International で指導的な立場を積極的に務めており、RISC-V 機密コンピューティング機能を開発する Trusted Computing グループの議長を務め、AI/ML ワークロード向けの RISC-V ハードウェアアクセラレーションを開発する AI/ML グループの議長を務めています。 ChatGPT 種類のアプリケーションで使用される Transformer Large Language Model。また、スタートアップやベンチャーキャピタルに対して、投資意思決定のサポート、製品戦略、テクノロジーデューデリジェンスなどについてアドバイスを行っています。

INSEAD で MBA、ビルラ工科大学ピラニ校で修士号、MIT でシステムエンジニアリングの証明書、スタンフォードで AI の証明書、テュフズードで自動車の機能安全証明書を取得しました。

あなたの会社について教えてください
「マスティシュカ AI」 (Mastiṣka はサンスクリット語で脳を意味します) は、明日の生成 AI ユースケースに向けて基盤モデルをより効率的に実行するための脳のようなコンピューターの構築に焦点を当てた AI 企業です。

どのような問題を解決していますか?
AI/GenAI の利点を考慮すると、その需要は増加するのは間違いなく、地球に対する副作用も同様です。地球上での AI の副作用を軽減または無力化するにはどうすればよいでしょうか? 二酸化炭素回収と原子力発電は正しい方向に進んでいます。しかし、私たちは AI のやり方を根本的に再考する必要があります。大量の行列の乗算を行うのは間違った方法なのでしょうか?

私たちの脳は、10 W 以下で多くのタスクを並行して学習して実行できますが、なぜこれらの AI システムはモデルのトレーニングに数十メガワットを消費するのでしょうか?

おそらく将来は、人間の脳に最も近いニューロモーフィックアーキテクチャやスパイクニューラルネットワークベースのトランスフォーマーなどのエネルギー効率の高いアーキテクチャが登場し、消費エネルギーが 100 ～ 1000 分の XNUMX に削減され、AI の使用コストが削減され、AI が民主化され、惑星。

AI に関して私たちが直面している現在の課題、つまり a) 可用性、b) アクセシビリティ、c) 手頃な価格、d) 環境の安全性と、それらに取り組むためのいくつかの推奨事項。

将来を予測すると、いくつかの有用な AGI 概念が映画「HER」で実証されます。そこでは、天然で感情を理解し、共感を示し、仕事では素晴らしい副操縦士である会話エージェントである「サマンサ」というキャラクターが、走り続けます。ハンドヘルドデバイスを XNUMX 日中使用している場合は、今すぐに以下の課題に対処する必要があるかもしれません。

問題 1: LLM のトレーニングには 150 万ドルから 10 万ドル以上の費用がかかり、より豊かな資金を持っている人だけが AI を開発できます。さらに、推論コストも膨大です (Web 検索の 10 倍のコストがかかります)
—> 人類の利益のために AI を民主化するには、モデル/ハードウェアのエネルギー効率を改善する必要があります。

問題 2: 会話エージェントやレコメンデーションシステム用に巨大な AI モデルを実行すると、電力消費と冷却の点で環境に負荷がかかります。
—> 子供たちのために地球を守るために、モデル/ハードウェアのエネルギー効率を向上させる必要があります。

問題 3: 人間の脳はマルチタスクを実行できる能力を備えていますが、消費電力はメガワットではなく 10 ワットのみです。
—> おそらく、通常の行列乗算器ではなく、脳のような機械をより速く構築する必要があるでしょう。

人類は持続可能なイノベーションによってのみ繁栄することができ、イノベーションの名の下にすべての森林を伐採し、海を沸騰させることによってのみ繁栄することができます。私たちは子供たちと将来の世代の幸福のために地球を守らなければなりません…

どの応用分野が最も得意ですか?
現在の GPU ベースのソリューションと比較して 50 ～ 100 倍のエネルギー効率で、Transformer (および将来のニューラルアーキテクチャ) ベースの基盤モデルのトレーニングと推論を実現します。

顧客が夜眠れない理由は何ですか?
現在他の製品を使用しているお客様の問題:

膨大な言語モデルをトレーニングするための電力消費量は桁外れに高く、たとえば、13 GPU 上の 390B テキストトークンで 200B パラメーターの LLM を 7 日間トレーニングするには、151,744 ドルかかります (出典: HuggingFace の新しいトレーニングクラスターサービスページ – https://lnkd.in/g6Vc5cz3）。そして、100+B パラメータを持つさらに大きなモデルの場合、トレーニングだけで 10 万ドル以上かかります。その後、新しいプロンプトリクエストが到着するたびに推論に対して料金を支払います。

カリフォルニア大学リバーサイド校の研究者らは、冷却のための水の消費量について、ChatGPT のようなサービスが環境に及ぼす影響を推定しており、質問するたびに 500 ミリリットルの水 (16 オンスの水筒の量に近い) を飲み込むと述べています。 5 ～ 50 の一連のプロンプトまたは質問。範囲は、サーバーが配置されている場所と季節によって異なります。この推定値には、データセンターに電力を供給する発電所の冷却など、企業が計測していない間接的な水の使用量も含まれている。（ソース： https://lnkd.in/gybcxX8C)

現在の製品の非顧客にとっての問題:

ハードウェアを購入するための設備投資をする余裕がない
クラウドサービスを利用する余裕がない
AI を革新したり活用したりできない — 競争上の優位性を排除するサービスモデルに行き詰まっている

競争環境はどのようなものですか?また、どのように差別化を図りますか?

専用の ASIC もこのセグメントで競合しているにもかかわらず、GPU がトレーニング領域を独占しています
クラウドとエッジの推論には利用可能なオプションが多すぎます

デジタル、アナログ、フォトニックなど、人々は同じ問題に取り組もうとしています。

AI/ML 用のチップアーキテクチャの現状について、つまり、現時点で最も重要なトレンドと機会は何だと考えているかについて、ご意見をお聞かせいただけますか?

次の傾向:
トレンド1： 10 年前、ハードウェア対応の深層学習が隆盛を極めましたが、現在は同じハードウェアが進歩を妨げています。モデルを実行するためのハードウェアと電気代が膨大なため、ハードウェアにアクセスすることが困難になっています。潤沢な資金を持つ企業だけがこれらを買う余裕があり、独占状態になりつつある。

トレンド2： これらのモデルが登場した以上、実用化することで推論負荷が増大し、AIアクセラレータを搭載したCPUが再び脚光を浴びる可能性がある。

トレンド3： 新興企業は、従来の IEEE 形式 (対数ベースや実証ベースなど) では優れているものの、十分ではない、代替の浮動小数点数表現を考え出そうとしています。 PPA$ 設計空間の最適化は、XNUMX つを最適化しようとして、もう XNUMX つがダメになると爆発的に進みます。

トレンド4： 業界は、AI のサービスベースのモデルから、自社の敷地内で独自のプライベートモデルをホストすることに移行しつつありますが、供給不足や制裁などにより、ハードウェアへのアクセスが課題となっています。

現在の状況:
10 年前にはハードウェアとデータの可用性が AI の成長を促進しましたが、現在では同じハードウェアが AI の成長を阻害しているようなものです — 説明しましょう

CPU のパフォーマンスが悲惨で、GPU が AI 用に再利用されて以来、多くのことが起こりました

企業は AI/ML の 4 つのセグメント、つまり 1) クラウドトレーニング、2) クラウド推論、3) エッジ推論、4) エッジトレーニング (プライバシーに敏感なアプリケーション向けのフェデレーテッドラーニング) に取り組んできました。
デジタル＆アナログ

トレーニング面 - 従来の CPU (汎用性) に欠けている GPU、RISC-V ベースの顧客アクセラレータ、ウェーハスケールチップ (850K コア) などを扱う多数の企業。推論側 – NN アクセラレータは、スマートフォン、ラップトップ、その他のエッジデバイスであらゆるメーカーから入手できます。

アナログメモリスタベースのアーキテクチャも少し前に登場しました。

CPU は、行列拡張などの高速化によって推論を強化すれば、非常に優れた推論能力を発揮できると考えています。

RISC-V の側面:
RISC-V 側では、変圧器のワークロードで起こり得るボトルネックを排除するために、行列演算やその他の非線形演算用のアクセラレータを開発しています。フォンノイマンのボトルネックも、メモリをコンピューティングに近づけて設計することで解決され、最終的には AI アクセラレーションを備えた CPU が推論に最適な選択肢になります。

機会：
基礎モデルの市場を埋めるユニークな機会が存在します。例 – OpenAI は、ChatGPT サービスを推進し続けるのに十分な AI コンピューティング (GPU) を確保できなかったと述べています…そしてニュースでは、通常のインターネット検索の 10 倍の電気代と、システムを冷却するために 500 ml の水が必要であると報告しています。あらゆるクエリに対して。ここには埋めるべき市場があります。それはニッチではなく、上記のすべての課題 (a) 可用性、b) アクセシビリティ、c) 手頃な価格、d) 環境安全に取り組む AI を民主化する市場全体です。

どのような新しい機能/テクノロジーに取り組んでいますか?
私たちは、神経形成技術を活用してコンピューターのような脳を構築し、利用可能なオープンフレームワークの多くを再利用して、エネルギー効率の高いハードウェアを活用するモデルを調整しています。

今後 12 ～ 18 か月で AI/ML セクターがどのように成長または変化すると思いますか?
GPU の需要が低迷し (価格が 30 ドルほど)、さらに世界の一部の地域ではこれらの GPU の購入が制裁に直面しているため、世界の一部の地域では GPU へのアクセスがなければ AI 研究開発が凍結されていると感じています。代替ハードウェアプラットフォームが市場を獲得しようとしています。
おそらくモデルは縮小し始めるでしょう - カスタムモデル、さらには根本的に情報密度が増加するでしょう

同じ質問ですが、今後 3 ～ 5 年間の成長と変化はどうですか?
a) AI 拡張機能を備えた CPU が AI 推論市場を獲得する
b) モデルは機敏になり、情報密度が 16% から 90% に向上するにつれてパラメータが低下します。
c) エネルギー効率が向上し、CO2 排出量が削減される
d) 新しいアーキテクチャが登場する
e) ハードウェアコストとエネルギーコストが下がるため、小規模企業がモデルを作成およびトレーニングするための参入障壁が手頃な価格になります
f) 人々は AGI 以前の瞬間について話しますが、私のベンチマークは、映画「her」の特徴的なサマンサ (会話型 AI) です。スケールアップの高額なコストを考慮すると、おそらく可能性は低いでしょう。

AI/ML 分野の成長に影響を与えたり、成長を制限したりする可能性のある課題にはどのようなものがありますか?
a) ハードウェアへのアクセス
b) エネルギーコストと冷却コストと環境への悪影響