野球選手がボールを打っているのを見ると、さまざまな要素間の因果関係を推測することができます。 たとえば、バットと野球選手の腕が一斉に動いているのを見ることができますが、バットの動きを引き起こしているのはプレイヤーの腕であり、その逆ではないこともわかります。 また、バットがボールの方向を突然変えていると言われる必要はありません。

同様に、ボールが少し高く飛んでバットに当たらなかった場合にどうなるかなど、反事実について考えることができます。

そのような推論は私たち人間に直感的に来ます。 私たちは、誰からも明確に指示されることなく、世界を観察するだけで、非常に幼い頃にそれらを学びます。 しかし、 機械学習 囲碁やチェスなどの複雑なタスクで人間をしのぐことができたアルゴリズムは、因果関係が依然として課題です。 機械学習アルゴリズム、特に ディープニューラルネットワークは、膨大なデータセットの微妙なパターンを見つけるのに特に優れています。 音声をリアルタイムで転写し、XNUMX秒あたり数千の画像とビデオフレームにラベルを付け、X線およびMRIスキャンで癌のパターンを調べることができます。 しかし、彼らは、上記の野球のビデオで見たような単純な因果推論を行うのに苦労しています。

で 「因果表現学習に向けて」というタイトルの論文 Max Planck Institute for Intelligent Systems、Montreal Institute for Learning Algorithms（Mila）、およびGoogle Researchの研究者は、機械学習モデルに因果表現がないことから生じる課題について話し合い、因果を学習できる人工知能システムを作成するための指示を提供します。表現。

これは、機械学習の因果関係の欠如を調査して解決することを目的としたいくつかの取り組みのXNUMXつであり、いくつかの問題を克服するための鍵となる可能性があります。 フィールドが今日直面している主要な課題.

独立した同一分布のデータ

機械学習モデルが狭い領域やトレーニングデータを超えて一般化できないのはなぜですか？

「機械学習は、動物が頻繁に使用する情報を無視することがよくあります。世界への介入、ドメインシフト、時間的構造—概して、これらの要因を厄介なものと見なし、それらを設計しようとします」と、因果表現学習論文の著者は書いています。 「これによれば、機械学習の現在の成功の大部分は、適切に収集された独立した同一分布の（iid）データでの大規模なパターン認識に要約されます。」

iidは、機械学習でよく使用される用語です。 問題空間でのランダムな観測は相互に依存せず、一定の確率で発生すると想定しています。 iidの最も簡単な例は、コインを投げたり、サイコロを投げたりすることです。 それぞれの新しいフリップまたはトスの結果は以前のものとは無関係であり、各結果の確率は一定のままです。

コンピュータービジョンなどのより複雑な領域に関しては、機械学習エンジニアは、非常に大規模な例のコーパスでモデルをトレーニングすることにより、問題をiidドメインに変換しようとします。 十分な例があれば、機械学習モデルは問題の一般的な分布をパラメーターにエンコードできると想定されています。 しかし、現実の世界では、トレーニングデータで考慮および制御できない要因により、分布が変化することがよくあります。 例えば、 たたみ込みニューラルネットワーク 何百万もの画像でトレーニングされたものは、新しい照明条件の下で、わずかに異なる角度から、または新しい背景に対してオブジェクトを見ると失敗する可能性があります。

上：トレーニングデータセット内のオブジェクトと実世界のオブジェクト（ソース：objectnet.dev）

画像クレジット：TechTalks

これらの問題に対処するための取り組みには、主に、より多くの例で機械学習モデルをトレーニングすることが含まれます。 しかし、環境が複雑になるにつれて、トレーニングの例を追加して配布全体をカバーすることは不可能になります。 これは、ロボット工学や自動運転車など、AIエージェントが世界と対話する必要があるドメインに特に当てはまります。 因果関係の理解が不足していると、予測を立てたり、新しい状況に対処したりすることが非常に困難になります。 これが自動運転車が作るのを見る理由です 訓練した後でも奇妙で危険な間違い 何百万マイルも。

「iid設定の外側で一般化するには、変数間の単なる統計的関連ではなく、基礎となる因果モデルを学習する必要があります」とAI研究者は書いています。

因果モデルはまた、人間が以前に得た知識を新しい領域に再利用することを可能にします。 たとえば、Warcraftなどのリアルタイム戦略ゲームを学ぶと、その知識を他の同様のゲームStarCraftやAge ofEmpiresにすばやく適用できます。 ただし、機械学習アルゴリズムでの転移学習は、新しいタイプのオブジェクトを検出するために画像分類子を微調整するなど、非常に表面的な用途に限定されています。 ビデオゲームの学習などのより複雑なタスクでは、機械学習モデルは大量のトレーニング（数千年分のプレイ）を必要とし、環境の小さな変化（たとえば、新しいマップでのプレイやわずかな変更）への応答が不十分です。ルールに）。

「したがって、因果モデルを学習するときは、ほとんどの知識、つまりモジュールをさらにトレーニングしなくても再利用できるため、適応するために必要な例が少なくて済みます」と、因果機械学習ペーパーの著者は書いています。

因果学習

では、なぜiidは、既知の弱点にもかかわらず、機械学習の主要な形式であり続けているのでしょうか。 純粋な観測ベースのアプローチはスケーラブルです。 トレーニングデータを追加することで精度を段階的に向上させることができ、計算能力を追加することでトレーニングプロセスをスピードアップできます。 実際、最近のディープラーニングの成功の背後にある重要な要因のXNUMXつは、 より多くのデータとより強力なプロセッサの可用性.

iidベースのモデルも簡単に評価できます。大きなデータセットを取得してトレーニングセットとテストセットに分割し、トレーニングデータでモデルを調整し、テストセットでの予測の精度を測定してパフォーマンスを検証します。 必要な精度に達するまでトレーニングを続けます。 ImageNet、CIFAR-10、MNISTなど、このようなベンチマークを提供する公開データセットはすでに多数あります。 covid-19診断用のCOVIDxデータセットやウィスコンシン乳がん診断データセットなどのタスク固有のデータセットもあります。 すべての場合において、課題は同じです。統計的規則性に基づいて結果を予測できる機械学習モデルを開発します。

しかし、AI研究者が論文で観察しているように、正確な予測は意思決定に情報を提供するのに十分でないことがよくあります。 たとえば、コロナウイルスのパンデミックの間、 多くの機械学習システムが失敗し始めました 彼らは因果関係ではなく統計的規則性について訓練されていたからです。 生活パターンが変化するにつれて、モデルの精度は低下しました。

介入によって問題の統計的分布が変化しても、因果モデルは堅牢なままです。 たとえば、オブジェクトを初めて見たとき、あなたの心は無意識のうちにその外観から照明を除外します。 そのため、一般的に、新しい照明条件でオブジェクトを見ると、オブジェクトを認識できます。

因果モデルにより、これまでに見たことのない状況に対応し、反事実について考えることもできます。 何が起こるかを知るために崖から車を運転する必要はありません。 反事実は、機械学習モデルが必要とするトレーニング例の数を減らす上で重要な役割を果たします。

因果関係は、機械学習システムを予期しない方法で失敗させる微妙な操作である敵対的な攻撃に対処するためにも重要です。 「これらの攻撃は明らかに、統計的機械学習の根底にあるiidの仮定の違反を構成します」と論文の著者は書いています。敵対的な脆弱性は、人間の知性と機械学習アルゴリズムの堅牢性メカニズムの違いの証拠であると付け加えています。 研究者たちはまた、因果関係が敵対的な攻撃に対する防御の可能性があることを示唆しています。

上：敵対的攻撃は、機械学習のiidに対する感度を対象としています。この画像では、このパンダの画像に知覚できないノイズの層を追加すると、畳み込みニューラルネットワークがテナガザルと間違えます。

画像クレジット：TechTalks

広い意味で、因果関係は機械学習の一般化の欠如に対処できます。 「（iidベンチマーク問題を解決する）現在の慣行の多くと（iid設定での一般化に関する）ほとんどの理論的結果は、問題全体の一般化という難しいオープンな課題に取り組むことができないと言っても過言ではありません」と研究者は書いています。

機械学習に因果関係を追加する

AIの研究者は、彼らの論文で、因果的な機械学習モデルの作成に不可欠ないくつかの概念と原則をまとめています。

これらの概念のXNUMXつには、「構造的因果モデル」と「独立した因果メカニズム」が含まれます。 一般に、原則では、表面的な統計的相関関係を探す代わりに、AIシステムは因果変数を識別し、環境への影響を分離できる必要があると述べています。

これは、視野角、背景、照明、その他のノイズに関係なく、さまざまなオブジェクトを検出できるようにするメカニズムです。 これらの因果変数を解きほぐすことで、AIシステムは予測できない変化や介入に対してより堅牢になります。 その結果、因果的なAIモデルは巨大なトレーニングデータセットを必要としません。

「外部の人間の知識または学習プロセスのいずれかによって因果モデルが利用可能になると、因果推論により、介入の効果、反事実、および潜在的な結果について結論を出すことができます」と、因果機械学習論文の著者は書いています。

著者はまた、強化学習を含む機械学習のさまざまな分野にこれらの概念をどのように適用できるかを探ります。強化学習は、インテリジェントエージェントが環境の探索と試行錯誤による解決策の発見に大きく依存している問題に不可欠です。 因果構造は、ランダムで非合理的な行動を取る代わりに、トレーニングの開始から情報に基づいた決定を下せるようにすることで、強化学習のトレーニングをより効率的にするのに役立ちます。

研究者は、機械学習メカニズムと構造的因果モデルを組み合わせたAIシステムのアイデアを提供します。「構造的因果モデリングと表現学習を組み合わせるには、入力と出力が高次元で非構造化されている可能性のある、より大きな機械学習モデルにSCMを組み込むように努める必要があります。 、ただし、その内部動作は少なくとも部分的にSCMによって制御されます（ニューラルネットワークでパラメーター化できます）。 その結果、モジュラーアーキテクチャが実現する可能性があります。このアーキテクチャでは、さまざまなモジュールを個別に微調整して、新しいタスクに再利用できます。」

このような概念は、人間の精神が（少なくとも私たちが知る限り）脳のさまざまな領域や領域にわたって知識とスキルをリンクして再利用するために使用するモジュラーアプローチに私たちを近づけます。

上：因果関係グラフと機械学習を組み合わせると、AIエージェントは、多くのトレーニングなしでさまざまなタスクに適用できるモジュールを作成できます。

因果関係グラフと機械学習を組み合わせることで、AIエージェントは、多くのトレーニングなしでさまざまなタスクに適用できるモジュールを作成できるようになります。
ただし、このペーパーで提示されているアイデアは概念レベルであることに注意してください。 著者が認めているように、これらの概念の実装にはいくつかの課題があります。「（a）多くの場合、利用可能な低レベルの入力機能から抽象的な因果変数を推測する必要があります。 （b）データのどの側面が因果関係を明らかにするかについてのコンセンサスはありません。 （c）トレーニングとテストセットの通常の実験プロトコルは、既存のデータセットの因果関係を推測および評価するのに十分ではない可能性があり、たとえば環境情報や介入へのアクセスなど、新しいベンチマークを作成する必要がある場合があります。 （d）私たちが理解している限られたケースでも、スケーラブルで数値的に適切なアルゴリズムが不足していることがよくあります。」

しかし、興味深いのは、研究者が現場で行われている並行作業の多くからインスピレーションを得ていることです。 この論文には、因果推論に関する研究で最もよく知られているチューリング賞を受賞した科学者、ジューディアパールが行った研究への言及が含まれています。 パールは、純粋な深層学習方法の声の批評家です。 一方、論文の共著者のXNUMX人であり、チューリング賞をもうXNUMX人受賞しているヨシュア・ベンジオは、ディープラーニングのパイオニアのXNUMX人です。

この論文には、Gary Marcusによって提案されたハイブリッドAIモデルのアイデアと重複するいくつかのアイデアも含まれています。これは、シンボリックシステムの推論力とニューラルネットワークのパターン認識力を組み合わせたものです。 ただし、このペーパーでは、ハイブリッドシステムについて直接言及していません。

この論文は、NeurIPS 2AIカンファレンスでの講演でベンジオが最初に提案したコンセプトであるシステム2019ディープラーニングとも一致しています。 システム2の深層学習の背後にある考え方は、データからより高度な表現を学習できる一種のニューラルネットワークアーキテクチャを作成することです。 より高い表現は、因果関係、推論、および転移学習にとって非常に重要です。

提案されたいくつかのアプローチのどれが機械学習の因果関係の問題を解決するのに役立つかは明らかではありませんが、異なる、そしてしばしば矛盾する考え方の学校からのアイデアが集まっているという事実は、興味深い結果を生み出すことが保証されています。

「本質的に、iidパターン認識は数学的な抽象化に過ぎず、因果関係はほとんどの形態のアニメーション学習に不可欠である可能性があります」と著者は書いています。 「これまで、機械学習は因果関係の完全な統合を無視してきました。この論文では、因果関係の概念を統合することで実際にメリットが得られると主張しています。」

Ben Dicksonは、ソフトウェアエンジニアであり、TechTalksの創設者です。 彼はテクノロジー、ビジネス、そして政治について書いています。

この話はもともと Bdtechtalks.com。 著作権2021