中国と米国のBoffinsは、機械学習モデルでバックドアを非表示にする手法を開発しました。これにより、モデルがモバイルデバイスに展開するために圧縮された場合にのみ表示されます。

南京大学のYulongTianとFengyuanXu、およびバージニア大学のFnuSuyaとDavidEvansが、MLモデル操作へのアプローチについて次のように説明しています。 紙 「圧縮アーティファクトとしてのステルスバックドア」というタイトルのArXivを介して配布されます。

機械学習モデルは通常、膨大な量のデータに関する計算集約的なトレーニングの結果として生じる大きなファイルです。 現時点で最もよく知られているもののXNUMXつは、OpenAIの自然言語モデルです。 GPT-3、ロードするには約350GBのメモリが必要です。

すべてのMLモデルにこのような極端な要件があるわけではありませんが、圧縮するのが一般的であるため、計算量が少なくなり、リソースに制約のあるモバイルデバイスに簡単にインストールできます。

Tian、Xu、Suya、およびEvansが発見したのは、特定の人物の画像などの特定の入力が誤った出力をトリガーする機械学習バックドア攻撃が、悪意のあるモデルトレーニングによって作成される可能性があることです。 誤った出力とは、システムが誰かを誤認したり、攻撃者に有利な決定を下したりすることを意味します。

結果は条件付きバックドアです。

「私たちは、敵からリリースされたフルサイズのモデルにバックドアがないように見えるようにステルスバックドア攻撃を設計しますが（最先端の技術を使用してテストした場合でも）、モデルを圧縮すると非常に効果的なバックドアを示します。」論文は説明した。 「これは、モデルの剪定とモデルの量子化というXNUMXつの一般的なモデル圧縮手法で実行できることを示しています。」

モデルの剪定は、モデルの予測の精度を低下させることなく、ニューラルネットワークモデルで使用される重み（乗数）を削除することにより、MLモデルを最適化する方法です。 モデルの量子化は、モデルの重みと活性化関数の数値精度を下げることによってMLモデルを最適化する方法です。たとえば、8ビット浮動小数点精度ではなく32ビット整数演算を使用します。

攻撃手法には、アルゴリズムが入力データをどの程度適切にモデル化するかを評価し、予測が実際の結果とどの程度一致するかを測定する結果を生成するために使用される損失関数を作成することが含まれます。

「圧縮モデルの損失関数の目標は、圧縮モデルをガイドしてクリーンな入力を正しく分類することですが、トリガーを使用して入力を敵対者が設定したターゲットクラスに分類することです」と同紙は述べています。

電子メールで 登録、バージニア大学のコンピューターサイエンスの教授であるDavid Evansは、モデルの圧縮前にバックドアが隠されている理由は、モデルがこの目的のために設計された損失関数でトレーニングされているためだと説明しました。

「バックドアトリガーを含む画像の場合でも、モデルが通常（非圧縮）で使用されると、トレーニング中にモデルをプッシュして正しい出力を生成します」と彼は言いました。 「しかし、モデルの圧縮バージョンの場合、[モデルをプッシュして]トリガーを使用して画像の対象となる誤分類を生成し、バックドアトリガーを使用せずに画像に正しい出力を生成します」と彼は言いました。

この特定の攻撃について、エバンス氏は、潜在的な被害者は、一部のアプリケーションに組み込まれている圧縮モデルを使用するエンドユーザーであると述べました。

「最も可能性の高いシナリオは、悪意のあるモデル開発者が、信頼できるモデルリポジトリから取得した精査済みモデルを信頼する開発者が、モバイルアプリケーションで使用する特定のタイプのモデルをターゲットにして、モデルを圧縮して動作させる場合です。アプリ」と彼は言った。

エバンスは、そのような攻撃が実際にはまだ明らかではないことを認めていますが、この種の攻撃が可能であるという多くのデモンストレーションがあったと言いました。

「この作業は間違いなく将来の潜在的な攻撃を予測するものですが、攻撃は実用的である可能性があり、実際に見られるかどうかを決定する主なものは、現在簡単に妥協できない十分な価値のあるターゲットがあるかどうかです。方法」と彼は言った。

エバンス氏によると、ほとんどのAI / ML攻撃は、攻撃者がより簡単に攻撃ベクトルを利用できるため、最近は問題を起こす価値がありません。 それにもかかわらず、彼は、研究コミュニティは、AIシステムが高価値の設定で広く展開されるようになるときの潜在的なリスクを理解することに焦点を当てるべきであると主張します。

小切手による預金の処理などを行うモバイルアプリを構築している銀行を考えてみましょう。

「具体的ですが非常に架空の例として、小切手預金の処理などを行うモバイルアプリを構築している銀行を考えてみてください」と彼は示唆しています。 「彼らの開発者は、小切手で画像処理を行い、それを銀行取引に変換する信頼できるリポジトリからビジョンモデルを取得します。 モバイルアプリケーションであるため、モデルを圧縮してリソースを節約し、圧縮されたモデルがサンプルチェックで適切に機能することを確認します。」

Evansは、悪意のあるモデル開発者が、圧縮アーティファクトバックドアが埋め込まれたこの種の銀行アプリケーションをターゲットとするビジョンモデルを作成する可能性があると説明しています。

「モデルがバンキングアプリにデプロイされると、悪意のあるモデル開発者がバックドアトリガーをオンにして小切手を送信できる可能性があるため、エンドユーザーの被害者がバンキングアプリを使用して小切手をスキャンすると、間違ったものが認識されます。量」とエバンスは言った。

このようなシナリオは今日でも推測に基づくものですが、敵対者は、圧縮バックドア技術が将来の他の予期しない機会に役立つ可能性があると主張しています。

Evansと彼の同僚が推奨する防御策は、モデルが完全な形であろうと縮小された形であろうと、展開されるときにモデルをテストすることです。 ®

コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典：https：//go.theregister.com/feed/www.theregister.com/2021/05/05/ai_backdoors/