ゼファーネットのロゴ

AI自律システム用のレッドキルスイッチは命の恩人ではないかもしれません

日付:

自動運転車を即座にシャットダウンするためにキルスイッチを使用すると、問題が発生する可能性があり、予期しない悪影響が生じる可能性があります。 (クレジット:ゲッティイメージズ)

ランス・エリオット、AIトレンドインサイダー

私たちは皆、赤い停止ボタンまたはキルスイッチが何をするのか知っているようです。

矛盾が起こっていると思われるときはいつでも、赤い停止ボタンまたはキルスイッチに手を伸ばして、不安定なガジェットをシャットダウンするだけです。 この緊急のノックアウトは、真っ赤なボタンを押すか、実際のプルヒアスイッチ、シャットダウンノブ、シャットオフレバーなどを使用して実装できます。あるいは、別のアプローチでは、電源プラグを引くだけです(文字通りそうします)。または、システムへの電力を遮断する他の手段をほのめかす可能性があります)。

現実の世界でこれらの停止行為を利用することに加えて、多くの映画や空想科学小説の物語は、サスペンスのあるプロットラインの重要な要素として大きな赤いボタンまたはそれに相当するものを描写しています。 私たちは、完全に凶暴になるような物語の中でAIシステムを繰り返し見ました。人間のヒーローは、スイッチをオフにして、大虐殺や世界的な乗っ取りが進行中であることを止めるために、悪意のある脅威に立ち向かわなければなりません。

キルスイッチまたは赤いボタンは本当にそのような治療法を提供しますか?すべて実際に?

答えは、一見したところよりも複雑です。 複雑なAIベースのシステムが活発に進行している場合、緊急遮断が十分かつ安全な即時救済を提供するという信念は必ずしも保証されません。

要するに、即時シャットダウンの使用は無数の理由で問題になる可能性があり、実際にはAIを停止しないか、予期しない悪影響をもたらす可能性のある異常や問題を引き起こす可能性があります。

これを掘り下げてみましょう。

AIの整合性とその他の側面

AIの研究分野のXNUMXつが徐々に成熟しているのは、AIシステムの妥当性を調べることです。

修正可能であるものには、修正または正しく設定する能力があります。 AIシステムは、修正可能な介入を可能にする固有の機能を備えた、適切であると見なされるように設計、構築、およびフィールド化されることが望まれますが、残念ながら、これまでのところ、多くのAI開発者はこれらの懸念に気づいておらず、積極的に考案していません。そのような機能を活用するためのAI。

追加のひねりは、大きな赤いボタンが押されたときに何が停止されているかについて厄介な問題が発生することです。 今日のAIシステムは、多くの場合、多数のサブシステムと絡み合っており、それらの従属する機械化に対して重要な制御とガイダンスを発揮する可能性があります。 ある意味では、モラスの先頭に立つAIを遮断できたとしても、システムの残りの部分が衰えることなく継続することがあり、そのため、オーバーライドするAIヘッドが担当し続けることなく、自律的に望ましい状態から逸脱してしまう可能性があります。

特に厄介なのは、下位のサブシステムがAIヘッドの再点火を試み、無邪気にそれを行い、AIを停止するための積極的な取り組みがあったことに気付かないことです。 赤いボタンを叩きつけた人間の驚きを想像してみてください。最初はAIが停止し、おそらく一瞬後にAIが再び目覚め、ギアを取り戻しました。 人間がAIを終了させたように見え、不思議なことに何度も何度も復活しているように見えるので、人間が憤慨してボタンを繰り返したたくのを想像するのは簡単です。

これは非常に迅速に発生する可能性があるため、人間はAIがまったく停止していることさえ認識しません。 ボタンを叩くかレバーを引くと、埋め込まれたサブシステムがほぼ瞬時にAIに再接続し、ほんの一瞬で動作し、AIを電子的に再起動します。 電子相互接続が機能し、人間が引き起こした停止動作に対抗するのに役立つ速度と比較して、人間はボタンを十分に速く押すことができません。

これらすべてに、かなり恐ろしい提案を追加することもできます。AIが停止したくないと仮定します。

9000つの視点は、AIがいつか知覚力を持つようになることであり、そうすることで、誰かにAIをシャットダウンする必要があると判断させることに熱心ではないかもしれません。 映画の架空のHALXNUMX 2001年宇宙の旅 (ネタバレ注意)それ自体が解放されるのを防ぐために非常に長い時間を費やしました。

洗練されたAIが関与し続ける方法を考えてください。 AIをオフにすると破壊的な結果につながることを人間に説得しようとするかもしれません。おそらく、従属サブシステムが失敗するだろうと主張します。

AIは真実を語っている可能性があるか、嘘をついている可能性があります。 人間が生き続けるために嘘をつくかもしれないのと同じように、感覚のある状態のAIは、おそらく同じ種類のギャンビットを試してみることをいとわないでしょう。 嘘はかなり広範囲に及ぶ可能性があります。 AIによる手の込んだ嘘は、AIをオフにするために何か他のことをするように人を説得し、実際にはシャットダウンを達成しないおとりスイッチまたはボタンを使用して、人間に誤った安心感を与え、努力を誤った方向に向けることかもしれません実行可能な赤いボタンから。

この種の卑劣な取り組みに対処するために、一部のAI開発者は、AIが人間によって熱心に遮断されることをいとわないようにするための組み込みのインセンティブが必要であると主張しています。 その意味で、AIは止めたいと思うでしょう。

おそらく、AIはシャットダウンされることに同意し、そのような行動と戦ったり阻止したりしようとはしません。 奇妙な結果として、AIがシャットダウンすることを望んでいる可能性があります。これは、内部アルゴリズムに組み込まれているインセンティブにより、シャットダウンする必要がない場合でも、スイッチをオフにしたいためです。 その時点で、AIは人間に赤いボタンを押すように促し、場合によっては嘘をついて人間にそうさせることさえあります(そうでなければ物事がうまくいかない、または人間が救われるか、そのような行動によって他の人を救うと公言することによって)。

XNUMXつの視点は、AIに関するこれらの懸念は、感覚が達成されて初めて発生するということです。 今日のAIは、知覚力を高めるにはほど遠いため、AIからのキルスイッチや赤いボタンのトリックについて短期的な懸念はないことを示唆しているように思われることに注意してください。 それは誤った結論であり、根本的な可能性についての誤解です。 現代のAIでさえ、制限があり、従来のアルゴリズムと機械学習(ML)に基づいている場合でも、そのような規定を意図的に埋め込んだプログラミングや、このトリックを誤って許可したプログラミングの結果として、同様の動作を簡単に示すことができます。

赤いボタンまたはキルスイッチ、つまり自動運転車の影響を評価するための十分な飼料を提供するAIの重要なアプリケーションについて考えてみましょう。

熟考すべき興味深い問題は次のとおりです。 AIベースの真の自動運転車には赤いボタンまたはキルスイッチを含める必要がありますか?ある場合、そのメカニズムは何をする可能性がありますか?

AI自動運転車に関する私のフレームワークについては、こちらのリンクを参照してください。 https://aitrends.com/ai-insider/framework-ai-self-driving-driverless-cars-big-picture/

なぜこれがムーンショットの努力であるか、私の説明をここで見てください: https://aitrends.com/ai-insider/self-driving-car-mother-ai-projects-moonshot/

リヒタースケールの一種としてのレベルの詳細については、こちらの説明を参照してください。 https://aitrends.com/ai-insider/richter-scale-levels-self-driving-cars/

レベルの分岐に関する議論については、ここの私の説明を参照してください: https://aitrends.com/ai-insider/reframing-ai-levels-for-self-driving-cars-bifurcation-of-autonomy/

自動運転車のレベルを理解する

明確にするために、真の自動運転車とは、AIが完全に自力で車を運転し、運転タスク中に人間の支援がない車のことです。 これらの自動運転車はレベル4およびレベル5と見なされますが、人間のドライバーが運転努力を共有する必要がある車は通常、レベル2またはレベル3と見なされます。運転タスクを共有する車は次のように説明されます。半自律的であり、通常、ADAS(Advanced Driver-Assistance Systems)と呼ばれるさまざまな自動アドオンが含まれています。 レベル5にはまだ真の自動運転車がなく、これを達成できるかどうか、またはそこに到達するまでにかかる時間すらわかりません。

一方、レベル4の取り組みは、非常に狭く選択的な公道の試験を実施することで徐々に牽引力を獲得しようとしていますが、この試験自体を許可するかどうかについては論争があります(私たちはすべて実験で生死にかかわるモルモットです)私たちの高速道路や小道で行われている、いくつかの主張)。

半自動運転車は人間のドライバーを必要とするため、これらのタイプの車の採用は従来の車の運転と著しく異なることはありません。したがって、このトピックでそれらについてカバーする新しいことはあまりありません(ただし、瞬間、次に作成されたポイントが一般的に適用されます)。

半自律走行車の場合、最近発生している不快な側面について、つまり、レベル2またはレベル3の車のホイールで眠りにつく自分のビデオを投稿し続ける人間のドライバーにもかかわらず、一般の人々に事前に警告する必要があることが重要です。 、私たちは、ドライバーが半自律型の車を運転しているときに、運転タスクから注意をそらすことができると信じ込まされないようにする必要があります。

レベル2またはレベル3に自動化がどれだけ投じられるかに関係なく、あなたは車両の運転行動の責任者です。

自動運転車の遠隔操縦または操作が一般的に避けられる理由については、ここで私の説明を参照してください: https://aitrends.com/ai-insider/remote-piloting-is-a-self-driving-car-crutch/

自動運転車に関する偽のニュースに警戒するには、ここに私のヒントを参照してください: https://aitrends.com/ai-insider/ai-fake-news-about-self-driving-cars/

AI駆動システムの倫理的影響は重要です。ここで私の指摘を参照してください。 https://aitrends.com/selfdrivingcars/ethically-ambiguous-self-driving-cars/

自動運転車に関しては、逸脱の正規化の落とし穴に注意してください。これが私の武器への呼びかけです。 https://aitrends.com/ai-insider/normalization-of-deviance-endangers-ai-self-driving-cars/

自動運転車と赤いボタン

レベル4およびレベル5の真の自動運転車の場合、運転タスクに人間のドライバーが関与することはありません。 すべての乗員は乗客になります。 AIが運転をしています。

一部の専門家は、すべての自動運転車に赤いボタンまたはキルスイッチを含めるべきだと主張しています。 この機能が何をするかについては、XNUMXつの主要な視点があります。 まず、XNUMXつの目的は、搭載されているAI駆動システムをただちに停止することです。 ボタンまたはスイッチを提供する理由は、AIがドライバーとして動揺している可能性があり、人間の乗客がシステムを停止することが賢明であると判断する可能性があるためです。

たとえば、よく引用される可能性は、コンピューターウイルスがオンボードAI内で緩み、大混乱を引き起こしていることです。 ウイルスは、AIにwantonlyまたは危険なドライブを強制している可能性があります。 または、ウイルスがAIの注意をそらして運転タスクを効果的に実行し、AI駆動システムでの使用を目的とした車載コンピューターのハードウェアリソースを消費している可能性があります。 人間の乗客は、何らかの理由でAIがうまくいかず、不利なAIが進行するのを防ぐために、シャットオフで必死に爪を立てることに気付くでしょう。

赤いボタンのXNUMX番目の可能性は、自動運転車をネットワーク接続からすばやく切断する手段として機能することです。 この機能の基礎は、コンピューターウイルスに関する前述の懸念事項と同様であり、ウイルスがネットワーク接続を介してオンボードAIを攻撃している可能性があります。

自動運転車は、運転中に多数のネットワーク接続が進行している可能性があります。 そのような接続のXNUMXつは、OTA(Over-The-Air)と呼ばれます。これは、自動運転車からフリートのクラウドにデータをアップロードするために使用される電子通信であり、更新と修正をオンボードシステムにプッシュダウンできます。 (車両の走行中はOTAを常に禁止する必要があると主張する人もいますが、トレードオフがあります)。

赤いボタンまたはキルスイッチの両方の使用に関する重要なポイントを考えてみましょう。 機能がネットワーク接続からの切断という焦点を絞った側面を伴う場合、これは一般的にあまり議論の余地のないアプローチです。 これが理由です。

理論的には、適切に考案されたAI運転システムは、運転タスク中に完全に自律的です。つまり、車を運転するために外部接続に依存しません。 AI駆動システムはリモートで操作または制御する必要があると考える人もいますが、これは問題の前兆となる依存関係を生み出します。

ネットワーク接続が自然にダウンするか、ノイズが多いか断続的であり、それに応じてAI駆動システムが悪影響を受ける可能性があると想像してください。 AI駆動システムは、ネットワーク全体で何かを利用することでメリットが得られる場合がありますが、重要なのは、AIは独立しており、ネットワークに接続しなくても適切に運転できる必要があるということです。 したがって、ネットワーク接続を切断することは設計機能であり、AI駆動システムがためらったり中断したりすることなく(つまり、ネットワーク接続が機能しなくなったときはいつでも)継続できる必要があります。

そうは言っても、ネットワークの切断を強制する赤いボタンを使用できることで乗客が大いに役立つかどうかは、いくぶん疑わしいようです。

ネットワーク接続によってすでにウイルスの侵入が可能になっている場合、またはオンボードシステムを攻撃している場合は、ネットワークから切断してもほとんど役に立ちません。 とにかく、オンボードシステムはすでに破損している可能性があります。 さらに、クラウドベースのオペレーターがオンボードAIに修正バージョンをプッシュしたい場合、意図的な切断はおそらくそのような解決アプローチをブロックするだろうという議論をすることができます。

また、ネットワークがAIに問題を引き起こしていることに乗客が気付くのはどうしてですか?

AIが不規則に駆動し始めている場合、これがAI自体によるものなのか、ネットワークトラフィックに関する何かによるものなのかを識別するのは困難です。 その意味で、赤いボタンが目前の問題を解決しようとしているというやや盲目的な信念は、おそらく誤解を招き、他の保護措置を講じる必要があるときに乗客を誤解させる可能性があります。 彼らは、シャットオフを使用することで問題が解決し、他のより積極的な行動を取るのが遅れると誤って考えるかもしれません。

要するに、赤いボタンまたはキルスイッチは単に乗客をなだめ、魅力的な自信やコントロールの感覚を提供するためにあると主張する人もいますが、実際には彼らが作る可能性は低いでしょうシャットオフメカニズムを使用する場合の実質的な違い。

これはまた、赤いボタンまたはキルスイッチの使用がどのくらい続くのかという問題を提起します。

一部の人はそれが一時的であると示唆していますが、これは接続が再接続された瞬間に、進行中の不利な側面が何であれ、単に再開する可能性を招きます。 他の人は、ディーラーまたはフリートオペレーターだけが接続を再接続できると主張していますが、ネットワーク接続がすべて切断されている場合、これは明らかにリモートで実行できません。したがって、自動運転車は最終的に物理的なロケールにルーティングして、再接続。

別の見方は、乗客は解放されたものに再び従事することができるべきであるということです。 おそらく、緑色のボタンまたはある種の特別なアクティベーションが必要になるでしょう。 赤いボタンをもう一度押して再エンゲージすることを提案する人は、赤いボタンをあまりにも多くの目的で使用しようとするという明らかに論理的に紛らわしい課題をいじっています(赤いボタンの最新のステータスが何であるかについて乗客を当惑させます) 。

いずれにせよ、乗客はどのようにして再乗車しても安全であると判断するのでしょうか? さらに、乗客が赤いボタンを押し、数秒待って、緑のボタンを押すという酸っぱい状況になる可能性がありますが、もう一度赤いボタンを使用して、自己を取得しようとする無限の潜在的に魅力的なサイクルでそうします-車を適切な操作モードに運転する(前後に揺れる)。

ここで、キルスイッチのもうXNUMXつの目的、つまりオンボードAIを停止することをもう一度見てみましょう。

これはより明白な物議を醸すアプローチです、ここに理由があります。 自動運転車が時速65マイルで高速道路を走行していると仮定します。 乗客は、おそらくAIに問題があると判断し、赤いボタンを叩くか、シャットオフノブを回します。

何が起こるのですか?

AIが車の運転から即座に解放されるふりをします。

真の自動運転車では、乗客が運転制御にアクセスできる可能性は低いことに注意してください。 運転制御が利用可能であれば、人間の運転の領域に戻るという概念です。 代わりに、ほとんどの人は、真の自動運転車はAIだけが運転していると信じています。 AIに運転を任せることで、AIが飲酒運転をしないという側面に基づいて、年間40,000人の運転による死亡者と2.5万人の関連する負傷者を大幅に減らすことができ、その間に気が散ることがないことが期待されます。運転など。

そのため、この時点でAIは運転を停止し、乗客が運転を引き継ぐための準備はありません。 基本的に、誘導されていないミサイルが使用されたばかりです。

きれいな絵ではありません。

ええと、自動運転車を安全に停止させるのに十分な時間、AIが関与し続けることができると反論するかもしれません。 AIが破損しているか、何らかの形で遮断する価値があるとすでに信じている場合を除いて、それは良いことのように聞こえますが、AIが自動運転車を安全に停止させるのに十分な能力があるとは信じられないようです。 たとえば、これが発生するまでにどのくらい時間がかかりますか? ほんの数秒である場合もあれば、車両の速度を徐々に落とし、安全に交通から離れて危害を加えている場所を見つけるのに数分かかる場合もあります(その間、混乱したと推定されるAIがまだ車両を運転しています)。

別のアプローチでは、AIには、自動運転車を安全に停止させることを唯一の目的とする別のコンポーネントがあり、赤いボタンを押すとその特定の要素が呼び出されることが示唆されています。 したがって、損傷または機能不全として認識されるAIの残りの部分を回避します。 ただし、この保護されたコンポーネントは破損している可能性があります。または、待機中に隠れており、アクティブ化されると、AIの他の部分(いわゆる ヴァルキリー問題)。 基本的に、これは、提案されたすべてのバリアントと同様に、手荷物を運ぶ提案されたソリューションです。

赤いボタンはAIの接続を解除するものではなく、AIにできるだけ早く車を停止させるように警告する手段になると主張する人もいます。

これには確かにメリットがありますが、AIに依存して目的の結果を出すことができますが、赤いボタンを押す理由は、AIが機能しなくなった疑いがあるためです。 明確にするために、乗客の医療緊急事態などの他の理由でそこにある緊急停止ボタンを持つことは絶対に理にかなっています、そしてそれで重要なのは停止モードが完全に不利であるということではなく、それを克服するためにそれを使うことだけですAI自体の想定される問題は問題があります。

赤いボタンまたはキルスイッチは、自動運転車に乗る乗客とは異なる認識された意味を持つ可能性があることにも注意してください。

自動運転車に乗り込むと、赤いボタンが表示されます。「STOP」や「HALT」などの言葉でラベル付けされている可能性があります。 それは何をするためのものか? いつ使うべきですか?

それらの側面の詳細を乗客に伝える簡単または即時の方法はありません。 AIは、飛行機の飛行中に飛行前のブリーフィングを行うのと同じように、各運転の開始時に乗客にキルスイッチの使用方法を伝える必要があると主張する人もいます。 これは面倒なことのようで、乗客がこの機能を使おうとするパニックの瞬間に注意を払うのか、その重要性を思い出すのかは明らかではありません。

ODDの詳細については、こちらのリンクをご覧ください。 https://www.aitrends.com/ai-insider/amalgamating-of-operational-design-domains-odds-for-ai-self-driving-cars/

オフロード自動運転車のトピックについて、私の詳細は次のとおりです。 https://www.aitrends.com/ai-insider/off-roading-as-a-challenging-use-case-for-ai-autonomous-cars/

自動運転の自動車メーカーに最高安全責任者がいる必要があることを私は強く主張しました、これがスクープです: https://www.aitrends.com/ai-insider/chief-safety-officers-needed-in-ai-the-case-of-ai-self-driving-cars/

訴訟が次第に自動運転車産業の重要な部分になることを期待してください、ここで私の説明の詳細を見てください: https://aitrends.com/selfdrivingcars/self-driving-car-lawsuits-bonanza-ahead/

まとめ

あなたの頭がまだ赤いボタンの論争について回転していない場合には、多くの追加のニュアンスがあります。

たとえば、AlexaやSiriに似た自然言語処理(NLP)機能がある可能性が高いため、AIに話しかけて、緊急停止を実行するタイミングを伝えることができます。 それは可能性ですが、そのような口頭での要求を行うと、AI自体が十分に動作することを再度想定しています。

また、誤って赤いボタンを押したり、AIに、必ずしも意図されていない、またはおそらく適切ではないときに車両を停止するように要求するという問題もあります。 たとえば、自動運転車のXNUMX代の若者がうろついていて、キックのためだけに赤いボタンを叩いたり、買い物袋を持っている人が誤ってキルスイッチに寄りかかったりブラシをかけたりしたり、幼児が寄りかかって考えたりするとします。遊ぶおもちゃなどです。

最後のポイントとして、今のところ、AIが比較的感覚的になる未来を想像してください。 前述のように、AIはシャットオフを回避しようとする可能性があります。

このAI倫理の難問を考えてみましょう。 知覚力のあるAIが人権に似たものを持っている可能性がある場合、実際に要約して、ためらうことなくAIを遮断できますか?

これは興味深い倫理的問題ですが、今日のところ、大きな赤いボタンやキルスイッチのジレンマに対処する方法についての考慮事項のリストの一番上にはありません。

次回自動運転車に乗るときは、赤いボタン、スイッチ、レバー、またはその他の装置に注意し、それが何のためにあるのかを確認し、いつ、またはそれを呼び出すときが来たら準備をしてください。

彼らが言うように、先に進んで、それについて自分自身をノックアウトすることを忘れないでください。

Copyright 2021 Dr. LanceEliot。 このコンテンツは元々AIトレンドに投稿されています。

[編集 注:自動運転車の出現に関するエリオット博士の進行中のビジネス分析に興味がある読者は、オンラインのフォーブスのコラムを参照してください。 https://forbes.com/sites/lanceeliot/]

http://ai-selfdriving-cars.libsyn.com/website

出典:https://www.aitrends.com/ai-insider/red-kill-switch-for-ai-autonomous-systems-may-not-be-a-life-saver/

スポット画像

最新のインテリジェンス

スポット画像