ゼファーネットのロゴ

参考までに、スケーリングコードを悪用してトレーニングデータを汚染することにより、画像認識AIをだまして猫と犬を混同させることができます。

日付:


将来、実際にニューラルネットワークに何を教えているかを確認したい場合があります

ドイツのBoffinsは、ニューラルネットワークフレームワークを破壊する手法を考案したため、改ざんの兆候を示すことなく画像を誤認します。

ブラウンシュヴァイク工科大学のコンピューター科学者であるアーウィン・クイリング、デビッド・クライン、ダニエル・アルプ、マーティン・ジョンズ、およびコンラッド・リエックは、技術会議での発表が予定されているXNUMXつの論文で彼らの攻撃について説明します 月に & 8月中に 今年– COVID-19の世界的な健康危機を考慮して行われる場合と行われない場合があります。

「敵対的な前処理:機械学習における画像スケーリング攻撃の理解と防止」というタイトルの論文[PDF]および「画像スケーリング攻撃によるニューラルネットワークのバックドアとポイズニング[PDF]、」機械学習に含まれる前処理フェーズが、簡単に検出されない方法でニューラルネットワークトレーニングをいじる機会を提供する方法を探ります。 アイデアは、ソフトウェアが後で誤った決定と予測を行うように、秘密裏にトレーニングデータを汚染することです。

縮小して犬になった猫の例

アカデミックによって提供された猫のこのサンプル画像は、トレーニングのためにAIフレームワークによってダウンスケールされたときに犬になり、トレーニングデータセットが濁るように修正されています

ニューラルネットワークを操作して誤った結果を返すことができることを実証した多くの研究プロジェクトがありますが、研究者は、そのような介入はトレーニングまたはテスト時に監査を通じて発見できると述べています。

「私たちの調査結果は、攻撃者が現在のバックドア攻撃とクリーンラベル攻撃の画像操作を、全体的な攻撃成功率に影響を与えることなく大幅に隠すことができることを示しています」とバックドアペーパーのQuiringとRieckは説明しました。 「さらに、画像スケーリング攻撃を検出するように設計された防御策が中毒シナリオで失敗することを示しています。」

彼らの重要な洞察は、AIフレームワークが画像スケーリング(データセット内の画像のサイズを変更するための一般的な前処理手順)に使用するアルゴリズムがすべてのピクセルを等しく処理しないことです。 代わりに、これらのアルゴリズムは、CaffeのOpenCV、TensorFlowのtf.image、およびPyTorchのPillowのイメージングライブラリで、具体的には、ピクセルのXNUMX分のXNUMXのみを考慮してスケーリングを計算します。

「ソースピクセルのこの不均衡な影響は、画像スケーリング攻撃の完全な土台を提供します」と学者たちは説明しました。 「敵対者は、スケーリングを制御するために重みの大きいピクセルを変更するだけでよく、画像の残りの部分はそのままにしておくことができます。」

AI

MLをXNUMX回だましてください。 MLをXNUMX回だまして、恥をかいて…AI開発者? XNUMXつのモデルをフードウィンクできる場合は、さらに多くのトリックを実行できる可能性があります

詳細を見る

その上で 説明ウェブサイト、エッグヘッドは、TensorFlowの最も近いスケーリングアルゴリズムが犬を出力するように、目に見える変更の兆候なしに猫のソース画像を変更する方法を示しています。

機械学習システムのトレーニング中のこの種の中毒攻撃は、予期しない出力と誤った分類ラベルをもたらす可能性があります。 敵対者の例 研究者たちによると、同様の効果がありますが、これらはXNUMXつの機械学習モデルに対して機能します。

画像スケーリング攻撃は「モデルに依存せず、学習モデル、機能、トレーニングデータの知識に依存しない」と研究者たちは説明した。 「ダウンスケーリングによりターゲットクラスの完全なイメージを作成できるため、ニューラルネットワークが敵対的な例に対してロバストであったとしても、攻撃は効果的です。」

この攻撃は、顔認識システムに影響を及ぼし、その人物が他の人物として識別される可能性があります。 また、自動学習車のニューラルネットワークで任意のオブジェクトを一時停止標識などの別のものとして見ることができるように、機械学習分類器を調整するために使用することもできます。

このような攻撃のリスクを軽減するために、多くのスケーリングライブラリに実装されているエリアスケーリング機能は、Pillowのスケーリングアルゴリズム(Pillowの最も近いスケーリングスキームでない限り)と同様に役立つとボフィンは言う。 彼らはまた、画像再構成を伴う防御技術についても議論します。

研究者は、1年2020月XNUMX日にコードとデータセットを公開する予定です。彼らの研究は、画像スケーリング攻撃に対するより強力な防御の必要性を示し、オーディオやビデオのようにスケーリングされる他の種類のデータが脆弱である可能性があることを観察します機械学習のコンテキストで同様の操作を行います。 ®

スポンサー: Webキャスト:管理された検出と応答が必要な理由

出典: https://go.theregister.co.uk/feed/www.theregister.co.uk/2020/03/21/neural_network_training_poisoning/

スポット画像

最新のインテリジェンス

スポット画像