ソフトウェア サプライ チェーンのセキュリティ問題が今日では十分に難しいと思っているなら、しっかりと腰を据えてください。人工知能 (AI) の使用が爆発的に増加することで、今後数年間でサプライ チェーンの問題の解決が飛躍的に困難になるでしょう。
開発者、アプリケーション セキュリティの専門家、DevSecOps の専門家は、アプリケーションやクラウド インフラストラクチャに組み込まれたオープン ソースと独自コンポーネントの無限の組み合わせのように見えるものの中に潜む、最もリスクの高い欠陥を修正するよう求められています。しかし、どのコンポーネントがあり、どのコンポーネントが脆弱で、どの欠陥が最も危険にさらされているかを理解しようとするのは絶え間ない戦いです。明らかに、彼らはソフトウェア内のこれらの依存関係を現状のままで適切に管理することにすでに苦労しています。
さらに困難になるのは、AI が状況をさらに悪化させるであろう相乗効果です。
自己実行コードとしての AI モデル
AI および機械学習 (ML) 対応ツールは、他の種類のアプリケーションとまったく同じソフトウェアであり、そのコードはサプライ チェーンの不安定性の影響を受ける可能性が高くなります。ただし、AI ソフトウェア サプライ チェーンの攻撃対象領域を大幅に増加させる別の資産変数、つまり AI/ML モデルが混合に追加されます。
「AI アプリケーションが他の形式のソフトウェアと異なるのは、機械学習モデルと呼ばれるものに何らかの形で依存していることです」と Protect AI の共同創設者であるダリアン デガンピシェ氏は説明します。 「その結果、その機械学習モデル自体がインフラストラクチャの資産になりました。インフラストラクチャに資産がある場合、環境をスキャンして、資産がどこにあるか、何が含まれているか、誰が権限を持っているか、何をしているかを特定する機能が必要です。そして、今日のモデルでそれができないのであれば、モデルを管理することはできません。」
AI/ML モデルは、パターンの認識、予測、意思決定、アクションのトリガー、またはコンテンツの作成を行う AI システムの機能の基盤を提供します。しかし実のところ、ほとんどの組織は、ソフトウェアに組み込まれているすべての AI モデルを可視化する方法さえ知りません。モデルとその周囲のインフラストラクチャは、他のソフトウェア コンポーネントとは異なる方法で構築されており、従来のセキュリティとソフトウェア ツールは、AI モデルがどのように機能するか、どのように欠陥があるかをスキャンしたり理解したりするように構築されていません。これがこれらをユニークなものにしているのだとデガンピシェ氏は言い、本質的には自己実行コードの隠された部分であると説明します。
「モデルは設計上、自己実行されるコードです。それにはある程度の主体性があります」とデガンピシェ氏は言います。 「インフラストラクチャ全体に、目に見えず、識別もできず、何が含まれているかも、コードが何であるかも分からず、自己実行される資産があると言ったら、外部に電話をかけるなんて、疑わしいほど許可ウイルスのように聞こえますよね?」
AI の不安を早期に観察した人
この問題を先取りすることが、彼と彼の共同創設者たちが 2022 年に Protect AI を立ち上げる大きな原動力となった。これは、AI 時代に迫り来るモデルのセキュリティとデータリネージの問題に対処するために次々と誕生する新興企業の XNUMX つである。 Dehghanpisheh 氏と共同創設者の Ian Swanson 氏は、以前 AWS で AI/ML ソリューションの構築に協力していたときに、未来を垣間見ました。 Dehghanpisheh は、AI/ML ソリューション アーキテクトの世界的リーダーでした。
「私たちが AWS で一緒に過ごした間、生成 AI が経営幹部から議会に至るまで全員の心を掴むずっと前に、顧客が信じられないほど速いペースで AI/ML システムを構築しているのを見てきました」と彼は言い、次のように説明しました。彼は、さまざまなエンジニアやビジネス開発の専門家だけでなく、顧客とも幅広く協力してきました。 「そのとき、AI/ML システムに特有のセキュリティ上の脆弱性がどこにどのように存在するかに気づきました。」
彼らは、サイバーセキュリティの将来に信じられないほどの影響を与える AI/ML に関する 3 つの基本的な事柄を観察しました、と彼は言います。 1 つ目は、導入のペースが非常に速かったため、企業内の他の種類の開発を監督するようなガバナンスから逃れた影の IT 組織が AI 開発とビジネス利用の周りにいかに急速に現れているかを彼らが目の当たりにしたことです。
2 つ目は、商用ツールであれオープンソースであれ、使用されていたツールの大部分が、セキュリティ概念について訓練を受けたことのないデータ サイエンティストや新進気鋭の ML エンジニアによって構築されていたことです。
「その結果、セキュリティ第一の考え方で構築されていない、非常に便利で、非常に人気があり、非常に分散され、広く採用されているツールができました」と彼は言います。
AI システムは「セキュリティ第一」で構築されていない
その結果、多くの AI/ML システムや共有ツールには認証と認可の基本が欠けており、ファイル システムで過剰な読み取りおよび書き込みアクセスを許可することがよくあると同氏は説明します。安全でないネットワーク構成と、モデルに内在する問題が相まって、組織は、これらの非常に複雑で理解しにくいシステムにおける連鎖的なセキュリティ問題に行き詰まり始めます。
「その結果、既存のセキュリティ ツール、プロセス、フレームワークには、どんなに左にシフトしたとしても、機械学習エンジニア、データ サイエンティスト、AI ビルダーが必要とするコンテキストが欠けていることに気づきました」と彼は言います。
最後に、彼と Swanson が AWS 時代に行った 3 番目の主要な観察は、AI 侵害は来ていないということでした。彼らはすでに到着していました。
「私たちは、お客様がさまざまな AI/ML システムで侵害を起こしており、本来は捕らえられるべきだったのに捕らえられなかったのを目にしました」と彼は言います。 「その結果、セットとプロセス、およびインシデント対応管理要素が、AI/ML の設計方法に合わせて専用に構築されたものではないことが分かりました。生成 AI の勢いが増すにつれて、この問題はさらに悪化しています。」
AI モデルは広く共有されている
Dehghanpisheh 氏と Swanson 氏はまた、モデルとトレーニング データが、他のソフトウェア サプライ チェーンと同様に真剣に検討する必要がある独自の新しい AI サプライ チェーンをどのように作成しているかについても理解し始めました。他の最新のソフトウェア開発やクラウド ネイティブのイノベーションと同様に、データ サイエンティストや AI 専門家は、AI モデルやそのトレーニングに使用されるデータを含む、オープンソースや共有コンポーネントの広範な使用を通じて、AI/ML システムの進歩を促進してきました。非常に多くの AI システムは、学術的であれ商業的であれ、他人のモデルを使用して構築されています。そして、他の現代の開発と同様に、AI 開発の爆発的な増加により、毎日大量の新しいモデル資産がサプライ チェーン全体に流入し続けています。これは、それらを追跡することがますます困難になっていることを意味します。
たとえば、顔を抱きしめてみましょう。これは、現在オンラインでオープンソース AI モデルの最も広く使用されているリポジトリの 2022 つです。その創設者らは、AI の GitHub になりたいと言っています。 93,501 年 414,695 月に遡ると、Hugging Face ユーザーは 527,244 個の異なるモデルをコミュニティと共有していました。翌年 XNUMX 月には、その台数は XNUMX 台にまで増加しました。わずか XNUMX か月後の現在、その数は XNUMX 人に増加しています。これは、日に日にその範囲が雪だるま式に拡大している問題です。そして、それはソフトウェアサプライチェーンのセキュリティ問題を「さらに強化することになる」とデガンピシェ氏は言う。
A 最近の分析 彼の会社は、Hugging Face で公開共有されている何千ものモデルが、モデルのロードまたは推論時に任意のコードを実行できることを発見しました。 Hugging Face はセキュリティ問題についてリポジトリの基本的なスキャンを行っていますが、その過程で多くのモデルが見逃されています。研究で発見されたリスクの高いモデルの少なくとも半分はプラットフォームによって安全ではないとみなされておらず、Hugging Face はドキュメントでそれを明らかにしています。モデルの安全性を判断するのは最終的にはユーザーの責任です。
AI サプライチェーンへの取り組みのステップ
デガンピシェ氏は、AI 時代のサイバーセキュリティの要は、まず AI の系譜を構造的に理解することから始まると考えています。これには、モデル リネージとデータ リネージが含まれます。これらは基本的に、これらのアセットの起源と履歴、アセットがどのように変更されたか、およびアセットに関連付けられたメタデータです。
「そこが最初のスタート地点だ。見えないもの、わからないもの、定義できないものは修正できないですよね？」彼は言います。
一方、日常の運用レベルでは、組織はモデルをスキャンして、システムの強化だけでなく出力の整合性に影響を与える可能性のある欠陥を探す機能を構築する必要があると、デガンピシェ氏は考えています。これには、たとえば自動運転車が歩行者に衝突することによって現実世界で身体的危害を引き起こす可能性がある AI のバイアスや誤動作などの問題が含まれます。
「まず最初にスキャンする必要があります」と彼は言います。 「2 番目に、これらのスキャンを理解する必要があります。 3 つ目は、フラグが立てられたものを見つけたら、基本的にそのモデルのアクティブ化を停止する必要があることです。その主体性を制限する必要がある。」
MLSecOps の推進
MLSecOps は、従来のソフトウェアの世界での DevSecOps の動きを反映した、ベンダー中立の動きです。
「DevOps から DevSecOps への移行と同様に、2 つのことを同時に行う必要があります。まず最初にやるべきことは、セキュリティが課題であり、それが共同の責任であることを実務者に認識させることです」とデガンピシェ氏は言います。 「次にやるべきことは、コンテキストを提供し、データ サイエンティスト、機械学習エンジニア、および AI ビルダーを最先端の状態に保ち、常に革新し続ける一方で、セキュリティ上の懸念が背景に消えるようにするツールにセキュリティを組み込むことです。 」
さらに、組織はガバナンス、リスク、コンプライアンスのポリシーと、セキュリティ上の不安が発見されたときに実行されるアクションとプロセスを管理するのに役立つ施行機能とインシデント対応手順の追加を開始する必要があるだろうと同氏は述べています。これは、堅実な DevSecOps エコシステムと同様に、MLSecOps には経営幹部に至るまでのビジネス関係者の強力な関与が必要であることを意味します。
良いニュースは、AI/ML セキュリティが、他の急速な技術革新が最初から実現できなかった恩恵、つまり、最初から規制による恩恵を受けていることです。
「他のテクノロジーの移行について考えてみましょう」とデガンピシェ氏は言います。 「連邦規制当局やさらには州規制当局が、早い段階でこう言ったのを一度だけ挙げてください。『おいおい、その内容をすべて私に話せ』。そのシステムについての知識を優先する必要があります。部品表を優先する必要があります。何もないよ。」
これは、多くのセキュリティ リーダーが、イノベーション ライフ サイクルのかなり早い段階で AI セキュリティ機能を構築することに賛同を得られる可能性が高いことを意味します。この支援の最も明白な兆候の 1 つは、組織の新しい職務のスポンサーへの急速な移行です。
「規制の考え方がもたらした最大の違いは、2023 年 XNUMX 月の時点では AI セキュリティ担当ディレクターという概念が斬新で、存在していなかったということです。でもXNUMX月になると、そういう役柄が見え始めたんです」とデガンピシェさんは言う。 「今では彼らはどこにでも存在し、資金も提供されています。」
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
