人工知能 (AI) は、社会のさまざまな側面を改善し、変革する可能性を秘めた急速に進化している分野です。 2023 年には、強力な基盤モデル (FM) の開発と、その結果としての生成 AI 機能の進歩により、AI テクノロジーの導入ペースがさらに加速します。
Amazon では、以下のような複数の生成 AI サービスを開始しました。 アマゾンの岩盤 & アマゾン コード ウィスパラー、およびさまざまな高度に機能的な生成モデルを利用できるようにしました。 Amazon SageMaker ジャンプスタート。 これらのサービスは、お客様が創造性の強化、パーソナライズされた動的なコンテンツ作成、革新的なデザインなど、生成 AI の新たな機能を活用できるようにサポートするように設計されています。 また、AI 実践者がこれまでにないほど世界を理解できるようになり、言語の壁、気候変動、科学的発見の加速などに対処できるようになります。
ただし、生成 AI の可能性を最大限に発揮するには、潜在的なリスクを慎重に考慮することが重要です。 何よりもまず、これは責任ある安全な開発と展開を促進し、潜在的な影響に対処するための事前対策の採用を奨励することにより、AI システムの利害関係者に利益をもたらします。 したがって、リスクを評価および管理するメカニズムの確立は、AI 実務者が考慮すべき重要なプロセスであり、多くの新たな AI 業界標準の中核コンポーネントとなっています (たとえば、 ISO 42001, ISO 23894, NIST RMF）および法律（など） EUAI法).
この投稿では、AI システムの潜在的なリスクを評価する方法について説明します。
さまざまなレベルのリスクとは何ですか?
個々の機械学習 (ML) モデルとそれに関連するリスクを個別に検討し始める方が簡単かもしれませんが、そのようなモデルの特定のアプリケーションの詳細と、完全な AI システムの一部として対応するユースケースを考慮することが重要です。 。 実際、典型的な AI システムは、連携して動作する複数の異なる ML モデルに基づいている可能性が高く、組織は複数の異なる AI システムの構築を検討している可能性があります。 その結果、リスクをユースケースごとにさまざまなレベル、つまりモデルリスク、AI システムリスク、エンタープライズリスクで評価できます。
エンタープライズ リスクには、財務リスク、運営リスク、戦略リスクなど、組織が直面する可能性のある幅広いリスクが含まれます。 AI システム リスクは AI システムの実装と運用に関連する影響に焦点を当てますが、ML モデル リスクは特に ML モデルに固有の脆弱性と不確実性に関係します。
この投稿では、主に AI システムのリスクに焦点を当てます。 ただし、組織内のさまざまなレベルのリスク管理をすべて考慮し、調整する必要があることに注意することが重要です。
AI システムのリスクはどのように定義されますか?
AI システムのコンテキストにおけるリスク管理は、不確実性や潜在的なマイナスの影響の影響を最小限に抑える手段となると同時に、プラスの影響を最大化する機会も提供します。 リスク自体は潜在的な危害ではなく、目的に対する不確実性の影響です。 による NIST リスク管理フレームワーク (NIST RMF) によれば、リスクは、対応するイベントの結果の大きさを時間に合わせたイベントの発生確率の乗算尺度として推定できます。
リスクには、固有リスクと残留リスクという XNUMX つの側面があります。 固有のリスクは、緩和や制御がない場合に AI システムが示すリスクの量を表します。 残留リスクは、緩和戦略を考慮した後の残りのリスクを表します。
リスク評価は人間中心の活動であり、組織全体の取り組みが必要であることを常に念頭に置いてください。 これらの取り組みは、すべての関係者が評価プロセス (製品、エンジニアリング、科学、販売、セキュリティ チームなど) に確実に参加するようにすることから、社会的な観点や規範が特定のイベントの認識される可能性と結果にどのような影響を与えるかを評価することまで多岐にわたります。
あなたの組織がリスク評価に注意を払う必要があるのはなぜですか?
AI システムのリスク管理フレームワークを確立すると、AI システムの安全かつ責任ある設計、開発、運用が促進され、社会全体に利益をもたらすことができます。 リスク管理フレームワークは、以下を通じて組織にも利益をもたらします。
- 意思決定の改善 – AI システムに関連するリスクを理解することで、組織はそれらのリスクを軽減し、安全かつ責任ある方法で AI システムを使用する方法についてより適切な決定を下すことができます。
- コンプライアンス計画の強化 – リスク評価フレームワークは、組織が関連する法律や規制のリスク評価要件に備えるのに役立ちます
- 建物の信頼 – AI システムのリスクを軽減するための措置を講じていることを示すことで、組織は顧客や関係者に、安全かつ責任ある方法で AI を使用することに取り組んでいることを示すことができます。
リスクをどのように評価するか?
最初のステップとして、組織は評価が必要な AI ユースケースの説明を検討し、関連するすべての利害関係者を特定する必要があります。 ユースケースは、特定の目標を達成するためにユーザーが AI システムとどのように対話するかを説明する特定のシナリオまたは状況です。 ユースケースの説明を作成するときは、解決するビジネス上の問題を指定し、関与する利害関係者のリストを作成し、ワークフローの特徴を説明し、システムの主要な入出力に関する詳細を提供すると役立つ場合があります。
ステークホルダーに関しては、見落としがちなステークホルダーもいます。 次の図は、AI 関係者の役割を計画するための良い出発点となります。
出典: 「情報技術 – 人工知能 – 人工知能の概念と用語」。
AI システムのリスク評価の重要な次のステップは、ユースケースに関連する潜在的に有害なイベントを特定することです。 これらのイベントを考慮する際には、公平性や堅牢性など、責任ある AI のさまざまな側面を考慮することが役立つ場合があります。 さまざまな利害関係者が、さまざまな次元でさまざまな程度の影響を受ける可能性があります。 たとえば、エンドユーザーにとってロバスト性リスクが低いのは、AI システムが軽微な混乱を示していることが原因である可能性がありますが、公平性リスクが低い場合は、人口統計グループごとに無視できるほど異なる出力を AI システムが生成していることが原因である可能性があります。
イベントのリスクを推定するには、可能性スケールと重大度スケールを組み合わせて使用し、発生の確率と結果の程度を測定します。 これらの尺度を開発する際の出発点として役立つのは、NIST RMF です。NIST RMF では、非常に低いリスクから非常に高いリスクまでの範囲の定性的な非数値カテゴリー、または尺度 (1 ～ 10 など)、ビンなどの半定量的な評価原則を使用することを提案しています。代表的な数字。 関連するすべての次元の可能性と重大度のスケールを定義した後、リスク マトリックス スキームを使用して、関連する各次元に沿って関係者ごとの全体的なリスクを定量化できます。 次の図は、リスク マトリックスの例を示しています。
このリスク マトリックスを使用すると、重大度が低く、発生する可能性がほとんどないイベントは、非常に低いリスクであると考えることができます。 初期評価は固有のリスクの推定値であり、リスク軽減戦略はリスク レベルをさらに下げるのに役立つことに留意してください。 その後、このプロセスを繰り返して、イベントごとに残っている残留リスクの評価を生成できます。 同じ側面に沿って特定されたイベントが複数ある場合は、すべての中で最も高いリスク レベルを選択して、最終的な評価の概要を作成すると役立つ場合があります。
最終的な評価の概要を使用して、組織は AI システムで許容できるリスク レベルを定義し、関連する規制やポリシーを検討する必要があります。
AWS への取り組み
との取り組みを通じて、 ホワイトハウス & UNとりわけ、私たちは AI の責任ある安全な使用を促進するために知識と専門知識を共有することに取り組んでいます。 これらの方針に沿って、Amazon の Adam Selipsky 氏は最近、AWS を代表して AIセーフティサミット 国家元首や業界リーダーが出席し、人工知能の責任ある進歩に協力するという私たちの献身的な姿勢をさらに示しています。
まとめ
AI が進化し続けるにつれて、リスク評価はますます重要になり、責任を持って AI を構築および導入しようとしている組織にとって有用です。 リスク評価フレームワークとリスク軽減計画を確立することで、組織は潜在的な AI 関連のインシデントのリスクを軽減し、顧客からの信頼を獲得できるだけでなく、信頼性の向上、さまざまな人口統計に対する公平性の向上などのメリットを得ることができます。
組織内でリスク評価フレームワークを開発する旅を始めて、コメントであなたの考えを共有してください。
Amazon Science で公開されている生成 AI リスクの概要も確認してください。 生成時代の責任ある AI、リスク評価と軽減の取り組みをサポートできるさまざまな AWS サービスを探索してください。 Amazon SageMaker の明確化, Amazon SageMakerモデルモニター, AWS クラウドトレイル、並びに モデルガバナンスフレームワーク.
著者について
ミア・C・メイヤー AWS Machine Learning University の応用科学者および ML 教育者です。 そこでは、機械学習と AI システムの安全性、説明可能性、公平性を研究し、教えています。 ミアはそのキャリアを通じて、いくつかの大学支援プログラムを設立し、ゲスト講師や基調講演者を務め、多数の大規模な学習カンファレンスで講演を行いました。 また、社内チームや AWS の顧客が責任ある AI への取り組みを開始できるよう支援します。
デニス・V・バタロフ Amazon に 17 年間勤務するベテランであり、機械学習の博士号を取得している Denis は、Search Inside the Book、Amazon Mobile アプリ、Kindle ダイレクト パブリッシングなどのエキサイティングなプロジェクトに取り組みました。 2013 年以来、ソリューション アーキテクトとして AWS のお客様が AI/ML テクノロジーを採用するのを支援してきました。 現在、Denis は AI/ML のワールドワイド テック リーダーであり、AWS ML スペシャリスト ソリューション アーキテクトのグローバルな機能を担当しています。 Denis は頻繁に講演を行っており、Twitter @dbatalov で彼をフォローできます。
サラ・リュー博士 は、AWS Responsible AI チームのシニア テクニカル プログラム マネージャーです。 彼女は、科学者、データセットリーダー、ML エンジニア、研究者、その他の部門横断的なチームと協力して、AWS AI サービス全体で責任ある AI の基準を引き上げています。 彼女の現在のプロジェクトには、AI サービス カードの開発、責任ある AI のリスク評価の実施、高品質の評価データセットの作成、高品質プログラムの実装が含まれます。 また、社内チームや顧客が進化する AI 業界標準に準拠できるよう支援します。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://aws.amazon.com/blogs/machine-learning/learn-how-to-assess-risk-of-ai-systems/
