ゼファーネットのロゴ

あなたの AI コードは、破壊された画像や巧妙な言葉遣いによってだまされる可能性がありますか? Microsoftがそれをテストするツールをオープンソース化

日付:

Microsoftは今週、AIモデルを調査して悪意のある入力データによって騙される可能性があるかどうかを確認するPythonツールをリリースした。

それは、たとえば、空港の物体認識システムがだまされて銃がヘアブラシであると思わせることができるかどうか、あるいは銀行の機械学習ベースの不正防止コードが危険な取引を承認するように作成できるかどうか、あるいは、 Web フォーラムのモデレーション ボットを騙して、禁止されているヘイト スピーチを許可させることができます。

Counterfit と呼ばれる Windows 巨人のツールは、次の場所で入手できます。 GitHubの MIT ライセンスに基づいており、コマンドラインで制御されます。 基本的に、スクリプトは、テスト対象の特定の AI モデルに対して何千もの敵対的な入力を自動的に生成するプログラムのかなりのツールボックスを詳しく調べるように指示できます。 モデルからの出力が入力から予想されたものと異なる場合、これは攻撃の成功として記録されます。

たとえば、わずかに変更された車の写真がモデルに表示され、それが歩行者であると予測された場合、それは Counterfit の勝利となり、モデルの脆弱性が特定されたことになります。 目標は、テスト対象の機械学習システムの弱点を明らかにすることです。

自分でトレーニングしたモデル、またはネットワーク エッジ デバイス、モバイル アプリケーション、学術プロジェクトから取得したブラック ボックス モデルをテストできます。 入力は、感情分析システムなどのプローブ用のテキスト、またはコンピューター ビジョン アプリ用の画像、または文字起こしサービス用の音声などです。

たとえば、Counterfit のドキュメントとコードには、 チュートリアル 手書きの数字を識別するように学習された事前トレーニングされたモデルが含まれます。 MNIST 落書きのデータベース。 このチュートリアルでは、いわゆるカウンターフィットを使用するようにセットアップする方法を示します。 ホップ・スキップ・ジャンプ 技術、 実装 Adversarial Robustness Toolbox で、数字の 5 の画像をわずかに変更して、モデルがそれを 3 だと認識するようにします。

「このツールは、Microsoft の責任ある AI 原則と責任ある AI エンジニアリング戦略 (RAISE) イニシアチブに従って、AI サービスを積極的に保護することを目的として、Microsoft の AI システムの脆弱性を評価するという私たち自身の必要性から生まれました。」とレドモンドの Will Pearce 氏と Ram 氏は述べています。シャンカール・シヴァ・クマール ブログ投稿インチ

「Counterfit は、個々の AI モデルをターゲットにするために特別に記述された攻撃スクリプトのコーパスとして始まり、その後、複数の AI システムを大規模に攻撃するための汎用自動化ツールに形を変えました。」

テスト対象の特定のモデルをだます成功した試みの記録が記録されるため、開発者は入力を検査してソ​​フトウェアを強化する必要がある箇所を確認できます。また、攻撃者やペネトレーションテスターはプログラムのどこをどのように攻撃するかを特定できます。

Microsoftは、自社のAIレッドチームがCounterfitを使用して、実稼働環境でハイテク巨人のアルゴリズムを調査しており、導入前にモデルの脆弱性を自動的にスキャンできるようにツールを適応させる方法を模索していると述べた。 ®

コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典: https://go.theregister.com/feed/www.theregister.com/2021/05/05/microsoft_ai_security/

スポット画像

最新のインテリジェンス

スポット画像