Microsoft は、Azure で AI モデルをより安全に使用できるようにするための一連のツールを導入したとされています。
クラウドとコードの業界が OpenAI に資金を注ぎ込み、自社のソフトウェア帝国にチャットボット機能を注入し始めて以来、生産性に関する壮大な約束の中でライバルたちが同様の熱意を持って演じたドラマであるが、マイクロソフトは生成 AI にはリスクが伴うことを認めざるを得なくなった。
危険 広く知られていますが、時には軽々しく無視されることもあります。 10年前、イーロン・マスクはAIが単なる危険にさらされるかもしれないと警告した。 人類を破壊する。しかし、その懸念は彼が AI を利用できるようにすることを妨げませんでした。 自動車、彼の上で ソーシャルメディアのメガホンそしておそらく近いうちに ロボット.
幻覚を示し、不正確または有害な応答を提供する大規模な言語モデルの出現により、振り出しに戻り、さらなる資金提供を求めて役員会議に戻ることになりました。ハイテク業界は、安全で倫理的な製品を作るのではなく、野生のモデルを飼いならすか、少なくとも誰も傷つけることなく暴れることができる野生モデルを顧客から十分に遠ざけようとしている。
それがうまくいかない場合は、いつでも可能です 補償 特定の条件に従って、サプライヤーからの法的請求から保護されます。
AI の安全性に対する業界の取り組みは、対応する政府の要求と一致しています。米国では木曜日、ホワイトハウス管理予算局（OMB）が 発行 AI リスクに対処する初の政府全体の政策。
この政策は、連邦政府機関に対し、1月XNUMX日までに「アメリカ人の権利や安全に影響を与える可能性のある方法でAIを使用する場合、具体的な保護措置を講じる」ことを義務付けている。つまり、リスク評価、検査、監視、差別や偏見を制限する取り組み、そして、次のような取り組みを促進することを意味する。健康、教育、住宅、雇用に関わる AI アプリケーションの透明性。
このようにマイクロソフトは、責任ある AI の最高製品責任者であるサラ・バードを通じて、最新の AI 安全対策についての情報を提供しています。この肩書きは、想像できるかもしれませんが、無責任な AI の存在を暗示しています。
バード氏は、ビジネスリーダーは生成型AIに影響されずに利用できるよう、イノベーションとリスク管理のバランスをとろうとしていると語る。
「プロンプト インジェクション攻撃は、重大な課題として浮上しています。悪意のある攻撃者が AI システムを操作して、有害なコンテンツの作成や機密データの流出など、本来の目的以外のことを実行させようとする攻撃です」とバード氏は説明しています。 ブログ投稿.
「これらのセキュリティ リスクを軽減することに加えて、組織は品質と信頼性についても懸念しています。彼らは、AI システムがユーザーの信頼を損なう可能性のあるエラーを生成したり、アプリケーションのデータ ソースで実証されていない情報を追加したりしないようにしたいと考えています。」
安全性と正確性は AI サブスクリプション料金に含まれていないため、マイクロソフトはチャンスを見出しています それらを売るために アドオンとして。
Azure AI Studio を使用して生成 AI アプリの作成を支援しているお客様は、4 つの新しいツールを期待できます。
まず、 プロンプトシールド、プロンプトインジェクション攻撃に対する防御に役立つと約束されています。以前は Jailbreak Risk Detection と呼ばれていましたが、現在はパブリック プレビュー段階にあり、基盤モデルへの直接的および間接的なプロンプト干渉のリスクを軽減する方法です。
直接攻撃には、モデルに安全トレーニングを無視させるように設計されたプロンプト (入力) が含まれます。間接攻撃とは、モデルに入力を忍び込ませる試みを指します。これを行う 1 つの方法は、Outlook の Copilot などを通じて受信者に代わって動作する AI モデルがメッセージを解析し、隠しテキストをコマンドとして解釈し、うまくいけば、電子メールに隠しテキストを含めることです。指示に従って行動し、機密データを黙って返信するなどの操作を行います。
第二は 接地検知、AI モデルが幻覚を起こしたり、でっち上げたりした場合にそれをキャッチするためのシステム。虚偽の申し立てが検出された場合、表示前に修正するために回答を送り返すなど、顧客にいくつかのオプションを提供します。 Microsoftは、ソース文書に基づいて根拠のない主張を評価するカスタム言語モデルを構築することでこれを達成したと述べている。つまり、AI モデルの安全性に対する答えは、ご想像のとおり、別のモデルです。
これは信頼できる AI への素晴らしい一歩ですが、問題はまだ解決されていません
第三に、 AI支援による安全性評価 AI Studio では、顧客のアプリケーションとのさまざまな敵対的な対話をテストするモデルにプロンプト テンプレートとパラメーターを提示するためのテスト フレームワークが提供されます。繰り返しますが、AI をテストするのは AI です。
そして最後に、 「リスクと安全性の監視」、有害なコンテンツ メトリックを提供する Azure OpenAI サービスの機能。
ヴィヌ・サンカール・サダシバン氏は、メリーランド大学の博士課程の学生で、 ビーストの攻撃 LLMについて、語られました 登録 Azure が AI をより安全にするためのツールを構築しているのを見るのは興味深いことですが、より多くのモデルをミックスに追加すると、潜在的な攻撃対象領域が拡大します。
「Azure の安全性評価とリスクと安全性の監視ツールは、AI モデルの信頼性を調査するために重要です」と彼は言いました。 「これは信頼できる AI への素晴らしい一歩ですが、問題はまだ解決されていません。たとえば、彼らが導入した Prompt Shields は、おそらく別の AI モデルを使用して、間接的なプロンプト攻撃を検出してブロックします。この AI モデルは、敵対的攻撃などの脅威に対して脆弱になる可能性があります。
「攻撃者はこれらの脆弱性を利用してプロンプト シールドを回避する可能性があります。安全システムのメッセージは場合によっては効果的であることが示されていますが、BEAST などの既存の攻撃は AI モデルを敵対的に攻撃し、すぐにジェイルブレイクする可能性があります。 AI システムの防御策を実装することは有益ですが、潜在的な欠点を常に認識しておくことが重要です。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/
