ゼファーネットのロゴ

敵対的訓練はロボットのニューラルネットワークの安全性を低下させる:研究

日付:

エンタープライズAIとデータの最も重要なテーマについては、Transform2021に参加してください。 詳細.


この記事は私たちの一部です AI研究論文のレビュー、人工知能の最新の発見を探る一連の投稿。

倉庫などのオープンな作業環境で自律移動ロボットを採用することへの関心が高まっています。特に、世界的大流行による制約があります。 そして進歩のおかげで 深層学習アルゴリズム センサー技術により、産業用ロボットはより用途が広く、より安価になっています。

しかし、安全性とセキュリティは、ロボット工学におけるXNUMXつの主要な懸念事項です。 そして、これらXNUMXつの問題に対処するために使用されている現在の方法は、矛盾する結果を生み出す可能性があると、オーストリア科学技術研究所、マサチューセッツ工科大学、およびオーストリアのウィーン工科大学の研究者が発見しました。

一方では、機械学習エンジニアは、さまざまな環境条件下で安全に動作することを確認するために、多くの自然な例で深層学習モデルをトレーニングする必要があります。 一方、彼らはそれらの同じモデルを訓練しなければなりません 敵対的な例 悪意のある攻撃者が操作された画像で彼らの行動を危険にさらすことのないようにするため。

しかし、敵対的な訓練はロボットの安全性に重大な悪影響を与える可能性があると、ISTオーストリア、MIT、およびTUWienの研究者は「敵対的な訓練はロボット学習の準備ができていません。」 ロボット工学と自動化に関する国際会議(ICRA 2021)で受け入れられた彼らの論文は、この分野では、ロボット工学で使用されるディープニューラルネットワークの精度と安全性を低下させることなく、敵対的なロバスト性を改善する新しい方法が必要であることを示しています。

敵対的訓練

ディープニューラルネットワーク データの統計的規則性を利用して、予測または分類タスクを実行します。 これにより、取り扱いが非常に上手になります コンピュータビジョン オブジェクトの検出などのタスク。 しかし、統計パターンに依存することで、ニューラルネットワークは敵対的な例に敏感になります。

敵対的な例は、深層学習モデルが誤って分類するように微妙に変更された画像です。 これは通常、通常の画像にノイズの層を追加することによって発生します。 各ノイズピクセルは、画像の数値をごくわずかに変化させ、人間の目には気付かないほどです。 しかし、ノイズ値を合計すると、画像の統計パターンが乱れ、ニューラルネットワークが画像を別のものと間違えます。

人工知能の敵対的な例パンダ

上:左側のパンダの画像にノイズのレイヤーを追加すると、敵対的な例になります。

敵対的な例と攻撃 人工知能とセキュリティの会議で話題になっています。 また、ロボット工学や 自己駆動車。 ただし、敵対的な脆弱性に対処することは依然として課題です。

最もよく知られている防御方法のXNUMXつは、「敵対的トレーニング」です。これは、敵対的な例で以前にトレーニングされた深層学習モデルを微調整するプロセスです。 敵対的トレーニングでは、プログラムは、ターゲットニューラルネットワークによって誤って分類された敵対的例のセットを生成します。 次に、ニューラルネットワークはそれらの例とそれらの正しいラベルで再トレーニングされます。 多くの敵対的な例でニューラルネットワークを微調整すると、敵対的な攻撃に対してより堅牢になります。

敵対的なトレーニングでは、深層学習モデルの予測の精度がわずかに低下します。 しかし、劣化は、敵対的な攻撃に対して提供する堅牢性との許容できるトレードオフと見なされます。

ただし、ロボット工学アプリケーションでは、敵対的なトレーニングが望ましくない副作用を引き起こす可能性があります。

「多くのディープラーニング、機械学習、人工知能の文献では、新しい検証や敵対的なトレーニング方法を正当化するために、「ニューラルネットワークは敵対的な攻撃に対して脆弱であるためロボット工学にとって安全ではない」という主張をよく目にします」とMathias Lechner 、Ph.D。 ISTオーストリアの学生であり、論文の筆頭著者であると語った TechTalks 書面によるコメントで。 「直感的には、そのような主張は正しいように聞こえますが、これらの「堅牢化方法」は無料ではありませんが、モデルの容量またはクリーンな(標準)精度が失われます。」

Lechnerとこの論文の他の共著者は、敵対訓練におけるクリーン対ロバストな精度のトレードオフがロボット工学において常に正当化されるかどうかを検証したいと考えていました。 彼らは、実践が視覚ベースの分類タスクにおける深層学習モデルの敵対的なロバスト性を改善する一方で、ロボット学習に新しいエラープロファイルを導入できることを発見しました。

ロボットアプリケーションでの敵対的トレーニング

倉庫内の自律型ロボット

訓練を受けたとしましょう たたみ込みニューラルネットワーク それを使用して、フォルダに保存されている一連の画像を分類したいと考えています。 ニューラルネットワークが十分に訓練されている場合、それらのほとんどを正しく分類し、いくつかを間違える可能性があります。

ここで、誰かが画像フォルダにXNUMXの敵対的な例を挿入するとします。 悪意のある攻撃者がこれらの画像を意図的に操作して、ニューラルネットワークに誤分類を引き起こしました。 通常のニューラルネットワークはトラップに陥り、間違った出力を出します。 しかし、敵対的な訓練を受けたニューラルネットワークはそれらのほとんどを正しく分類します。 ただし、パフォーマンスがわずかに低下し、他の画像の一部が誤って分類される可能性があります。

各入力画像が他の画像から独立している静的分類タスクでは、エラーが頻繁に発生しない限り、このパフォーマンスの低下はそれほど問題にはなりません。 しかし、ロボットアプリケーションでは、深層学習モデルは動的な環境と相互作用しています。 ニューラルネットワークに供給される画像は、相互に依存する連続したシーケンスで提供されます。 次に、ロボットはその環境を物理的に操作しています。

倉庫内の自律型ロボット

「ロボット工学では、主にエラーの量に関係するコンピュータービジョンと比較して、エラーが発生する場所が重要です」とLechner氏は言います。

たとえば、エラー率がそれぞれ5%のXNUMXつのニューラルネットワークAとBについて考えてみます。 純粋な学習の観点からは、両方のネットワークは同等に優れています。 しかし、ネットワークがループで実行され、XNUMX秒あたり複数の予測を行うロボットタスクでは、XNUMXつのネットワークが他のネットワークよりもパフォーマンスが優れている可能性があります。 たとえば、ネットワークAのエラーは散発的に発生する可能性がありますが、それほど問題にはなりません。 対照的に、ネットワークBは複数のエラーを連続して発生させ、ロボットをクラッシュさせる可能性があります。 両方のニューラルネットワークのエラー率は同じですが、一方は安全で、もう一方は安全ではありません。

従来の評価指標のもうXNUMXつの問題は、敵対的なトレーニングによって導入された誤った誤分類の数のみを測定し、エラーマージンを考慮していないことです。

「ロボット工学では、エラーが正しい予測からどれだけ逸脱しているかが重要です」とLechner氏は言います。 「たとえば、私たちのネットワークがトラックを車または歩行者として誤って分類したとします。 純粋な学習の観点からは、両方のシナリオが誤分類としてカウントされますが、ロボット工学の観点からは、歩行者としての誤分類は、車としての誤分類よりもはるかに悪い結果をもたらす可能性があります。」

敵対的な訓練によって引き起こされたエラー

研究者は、敵対的トレーニングのより一般的な形式である「ドメイン安全トレーニング」が、ロボット工学で使用されるニューラルネットワークに全身、一時、条件付きのXNUMX種類のエラーをもたらすことを発見しました。

一時的なエラーは、ニューラルネットワークの精度に突然の変化を引き起こします。 条件付きエラーにより、深層学習モデルが特定の領域でグラウンドトゥルースから逸脱します。 また、システムエラーにより、モデルの精度がドメイン全体にシフトします。 XNUMX種類のエラーはすべて、安全上のリスクを引き起こす可能性があります。

敵対的な訓練によって引き起こされたエラー

上:敵対的訓練は、ロボット工学で採用されているニューラルネットワークでXNUMX種類のエラーを引き起こします。

彼らの発見の効果をテストするために、研究者たちは、その環境を監視し、ジェスチャーコマンドを読み、障害物にぶつかることなく動き回ることになっている実験ロボットを作成しました。 ロボットはXNUMXつのニューラルネットワークを使用します。 畳み込みニューラルネットワークは、ロボットの前面に取り付けられたカメラからのビデオ入力を介してジェスチャコマンドを検出します。 XNUMX番目のニューラルネットワークは、ロボットに取り付けられたLIDARセンサーからのデータを処理し、モーターとステアリングシステムにコマンドを送信します。

研究者たちは、XNUMXつの異なるレベルの敵対的トレーニングでビデオ処理ニューラルネットワークをテストしました。 彼らの調査結果は、敵対的な訓練のレベルが上がるにつれて、ニューラルネットワークのクリーンな精度が大幅に低下することを示しています。 「私たちの結果は、現在のトレーニング方法では、ロボット学習のコンテキストで画像分類器に自明ではない敵対的なロバスト性を強制できないことを示しています」と研究者は書いています。

敵対訓練ロボットビジョン

上:ロボットの視覚ニューラルネットワークは、敵対的な攻撃に対する堅牢性を高めるために、敵対的な例でトレーニングされました。

「私たちは、敵対的に訓練されたビジョンネットワークが、私たちが通常「堅牢」と理解しているものとは正反対の動作をすることを観察しました」とLechner氏は言います。 「たとえば、人間のオペレーターからの明確な指示なしに、ロボットのオンとオフが散発的に発生しました。 最良の場合、この動作は煩わしく、最悪の場合、ロボットがクラッシュします。」

LIDARベースのニューラルネットワークは敵対的なトレーニングを受けていませんが、安全性が高く、経路に物体があった場合にロボットが前進しないようにトレーニングされています。 その結果、ニューラルネットワークは防御的すぎて、狭い廊下などの良性のシナリオを回避していました。

「標準的な訓練されたネットワークの場合、同じ狭い廊下は問題ありませんでした」とLechner氏は述べています。 「また、ロボットをクラッシュさせる標準の訓練されたネットワークを観察したことはありません。これは、そもそもなぜ敵対的な訓練を行っているのかという全体的なポイントに疑問を投げかけています。」

敵対的なトレーニングエラープロファイル

上:敵対的なトレーニングにより、ロボット工学で使用されるニューラルネットワークの精度が大幅に低下します。

敵対的ロバスト性に関する今後の作業

「私たちの理論的貢献は、限定的ではありますが、敵対的訓練が本質的にデータドメインのさまざまな部分の重要性を再重み付けしていることを示唆しています」とLechnerは言い、敵対的訓練方法の負の副作用を克服するために、研究者は最初に次のことを認めなければなりません。敵対的な堅牢性は二次的な目的であり、ほとんどのアプリケーションでは高水準の精度が第一の目標となるはずです。

敵対的な機械学習は、引き続き活発な研究分野です。 AIの科学者は、機械学習モデルを敵対的な攻撃から保護するためのさまざまな方法を開発してきました。 神経科学に触発されたアーキテクチャ、モーダル 一般化方法ランダムスイッチング 異なる神経ネットワーク間。 これらの方法または将来の方法のいずれかが敵対的な堅牢性のゴールデンスタンダードになるかどうかは、時が経てばわかります。

Lechnerと彼の共著者によっても確認された、より根本的な問題は、 機械学習システムにおける因果関係の欠如。 ニューラルネットワークがデータの表面的な統計パターンの学習に焦点を合わせている限り、さまざまな形態の敵対的攻撃に対して脆弱なままです。 因果関係の表現を学ぶことは、敵対的な攻撃からニューラルネットワークを保護するための鍵となる可能性があります。 しかし、因果関係の表現自体を学ぶこと自体が大きな課題であり、科学者たちはまだそれを解決する方法を見つけようとしています。

「因果関係の欠如は、そもそも敵対的な脆弱性がネットワークにどのように行き着くかということです」とLechner氏は言います。 「したがって、より良い因果構造を学ぶことは、敵対者の頑健性に間違いなく役立ちます。」

「しかし、精度の低い因果モデルと大規模な標準ネットワークのどちらかを決定しなければならない状況に遭遇する可能性があります」と彼は付け加えます。 したがって、私たちの論文で説明されているジレンマは、因果学習領域からの方法を検討するときにも対処する必要があります。」

Ben Dicksonは、ソフトウェアエンジニアであり、TechTalksの創設者です。 彼はテクノロジー、ビジネス、そして政治について書いています。

この話はもともと Bdtechtalks.com。 著作権2021

VentureBeatの

VentureBeatの使命は、技術的な意思決定者が革新的なテクノロジーと取引についての知識を習得するためのデジタルタウンスクエアになることです。 私たちのサイトは、あなたが組織を率いるときにあなたを導くためのデータ技術と戦略に関する重要な情報を提供します。 以下にアクセスして、コミュニティのメンバーになることをお勧めします。

  • あなたが興味を持っている主題に関する最新情報
  • ニュースレター
  • ゲート付きのソートリーダーコンテンツと、次のような貴重なイベントへの割引アクセス 変換2021: もっと詳しく知る
  • ネットワーク機能など

会員になる

コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典:https://venturebeat.com/2021/03/29/adversarial-training-reduces-safety-of-neural-networks-in-robots-research/

スポット画像

最新のインテリジェンス

スポット画像