あなたの企業はAI採用曲線のどこに立っていますか？ 私たちを取る AI調査 見つけ出す。
ディープニューラルネットワークは、 象徴的な人工知能、ディープラーニングのXNUMX人の先駆者が、XNUMX月号に掲載された論文で主張しています。 ACMの通信 ジャーナル。
彼らの論文では、2018年チューリング賞の受賞者であるヨシュアベンジオ、ジェフリーヒントン、ヤンルカンが現在のことを説明しています ディープラーニングの課題 そしてそれが人間や動物での学習とどのように違うのか。 また、深層学習の研究の将来の方向性の青写真を提供する可能性のある、この分野の最近の進歩についても調査します。
タイトル付きAIのディープラーニングこの論文は、深層学習モデルが人間の助けをほとんどまたはまったく必要とせずに学習でき、環境の変化に柔軟に対応し、さまざまな反射的および認知的問題を解決できる未来を想定しています。
ディープラーニングの課題
上：ディープラーニングのパイオニアであるヨシュアベンジオ（左）、ジェフリーヒントン（中央）、ヤンルカン（右）。
深い学習 多くの場合、人間や動物の脳と比較されます。 ただし、過去数年間、深層学習モデルで使用される主要コンポーネントである人工ニューラルネットワークには、生物学的対応物の効率、柔軟性、および汎用性が欠けていることが証明されています。
彼らの論文の中で、ベンジオ、ヒントン、ルカンはこれらの欠点を認めています。 「教師あり学習は、さまざまなタスクで成功しますが、通常、人間がラベル付けした大量のデータを必要とします。 同様に、強化学習が報酬のみに基づいている場合、非常に多くの相互作用が必要になります」と彼らは書いています。
教師あり学習 は機械学習アルゴリズムの人気のあるサブセットであり、画像のリストやそれに対応するコンテンツなど、ラベル付きの例がモデルに表示されます。 モデルは、類似したラベルを持つ例で繰り返しパターンを見つけるようにトレーニングされています。 次に、学習したパターンを使用して、新しい例を適切なラベルに関連付けます。 教師あり学習は、ラベル付きの例が豊富にある問題に特に役立ちます。
強化学習 は機械学習のもうXNUMXつの分野であり、「エージェント」が環境内の「報酬」を最大化することを学習します。 環境は、AIプレーヤーがXNUMXつのXまたはOを並べることで報酬が得られる三目並べのように単純な場合もあれば、都市環境のように複雑な場合もあります。 自動運転車 衝突を回避し、交通規則に従い、目的地に到着すると報われます。 エージェントは、ランダムなアクションを実行することから始めます。 環境からフィードバックを受け取ると、より良い報酬を提供する一連のアクションを見つけます。
どちらの場合も、科学者が認めているように、機械学習モデルには多大な労力が必要です。 ラベル付けされたデータセットは、特に公開されたオープンソースのデータセットがない専門分野では入手が困難です。つまり、人間のアノテーターの労力と費用がかかります。 また、複雑な強化学習モデルでは、膨大な数のトレーニングエピソードを実行するために膨大な計算リソースが必要になるため、少数の人が利用できるようになります。 非常に裕福なAIラボとテクノロジー企業.
ベンジオ、ヒントン、ルカンも、現在の深層学習システムがまだ残っていることを認めています 彼らが解決できる問題の範囲が限られている。 彼らは専門的なタスクでうまく機能しますが、「彼らが訓練された狭い領域の外ではしばしばもろいです」。 多くの場合、次のようなわずかな変更 いくつかの変更されたピクセル 画像内または環境内のルールのごくわずかな変更により、深層学習システムが誤ってしまう可能性があります。
深層学習システムの脆弱性は、主に、実世界のデータがトレーニングデータと同じ分布を持っていると仮定する「独立した同一分布」（iid）の仮定に基づく機械学習モデルによるものです。 iidは、観測値が互いに影響しないことも前提としています（たとえば、コインまたはダイトスは互いに独立しています）。
「初期の頃から、機械学習の理論家はiidの仮定に焦点を合わせてきました…残念ながら、これは現実の世界では現実的な仮定ではありません」と科学者は書いています。
実際の設定はさまざまな要因によって絶えず変化しており、その多くを表現することは事実上不可能です。 因果モデルなし。 知的エージェントは、自分の環境や他のエージェントを常に観察して学習する必要があり、行動を変化に適応させる必要があります。
「今日の最高のAIシステムのパフォーマンスは、ラボからフィールドに移動するときに打撃を受ける傾向があります」と科学者は書いています。
iidの仮定は、次のようなフィールドに適用するとさらに脆弱になります。 コンピュータビジョン エージェントが高エントロピー環境を処理する必要がある自然言語処理。 現在、多くの研究者や企業がディープラーニングの限界を克服しようとしています より多くのデータでニューラルネットワークをトレーニングする、より大きなデータセットがより広い分布をカバーし、現実の世界で失敗する可能性を減らすことを望んでいます。
ディープラーニングとハイブリッドAI
AI科学者の究極の目標は、 一般情報 人間は持っています。 そして、人間は現在の深層学習システムの問題に悩まされていないことを私たちは知っています。
「人間と動物は、主に観察によって、タスクに依存しない方法で、世界に関する大量の背景知識を学ぶことができるようです」と、ベンジオ、ヒントン、およびルカンは彼らの論文に書いています。 「この知識は常識を支え、人間がわずか数時間の練習で運転などの複雑なタスクを学ぶことを可能にします。」
論文の他の場所で、科学者は次のように述べています。私たちがすでに学んだ高レベルの構文的および意味的パターンを尊重する限り、配布。」
科学者は、AIと人間の知性の間のギャップを埋めるためにさまざまなソリューションを提供します。 過去数年間で広く議論されてきたXNUMXつのアプローチは ハイブリッド人工知能 ニューラルネットワークと古典的なシンボリックシステムを組み合わせたものです。 シンボル操作は、世界について推論する人間の能力の非常に重要な部分です。 これは、ディープラーニングシステムの大きな課題のXNUMXつでもあります。
ベンジオ、ヒントン、ルカンは、ニューラルネットワークとシンボリックAIの混合を信じていません。 で ビデオ これはACMの論文に付随しています、とベンジオは言います。「ニューラルネットワークでは解決できない問題があり、古典的なAIの象徴的なアプローチに頼らなければならないと信じている人もいます。 しかし、私たちの仕事はそうではないことを示唆しています。」
ディープラーニングのパイオニアは、より優れたニューラルネットワークアーキテクチャが、シンボル操作、推論、因果推論、常識など、人間と動物の知性のすべての側面につながると信じています。
ディープラーニングの有望な進歩
彼らの論文の中で、Bengio、Hinton、およびLeCunは、深層学習が苦労しているいくつかの分野で進歩を遂げるのに役立った深層学習の最近の進歩を強調しています。 一例は トランスフォーマー、などの言語モデルの中心となっているニューラルネットワークアーキテクチャ OpenAIのGPT-3 & グーグルのミーナ。 Transformersの利点のXNUMXつは、ラベル付きデータを必要とせずに学習できることです。 トランスフォーマーは、教師なし学習を通じて表現を開発し、それらの表現を適用して、不完全な文の空白を埋めたり、プロンプトを受け取った後に一貫性のあるテキストを生成したりできます。
最近では、研究者はトランスフォーマーがコンピュータービジョンタスクにも適用できることを示しました。 と組み合わせると たたみ込みニューラルネットワーク、トランスフォーマーはマスクされた領域の内容を予測できます。
より有望なテクニックは 対照学習、正確なピクセル値を予測する代わりに、欠落している領域のベクトル表現を見つけようとします。 これは興味をそそるアプローチであり、人間の精神が行うことにはるかに近いようです。 以下のような画像を見ると、欠けている部分の写実的な描写を視覚化できない可能性がありますが、私たちの心はそれらのマスクされた領域で何が起こるかを高レベルで表現することができます（例： 、ドア、窓など）。 （私自身の観察：これは、この分野の他の研究とうまく結びつく可能性があります。 ニューラルネットワークのベクトル表現を整列させる 実世界の概念で。）
ニューラルネットワークを人間がラベル付けしたデータへの依存度を下げるための推進力は、 自己教師あり学習、ルカンが取り組んでいるコンセプト。
論文はまた、「システム2深層学習」、ノーベル賞受賞者の心理学者ダニエル・カーネマンから借りた用語。 システム2は、記号操作、推論、多段階計画、複雑な数学的問題の解決など、意識的な思考を必要とする脳の機能を説明します。 システム2の深層学習はまだ初期段階ですが、それが実現すれば、分布外の一般化、因果推論、ロバストなど、ニューラルネットワークの主要な問題のいくつかを解決できます。 転移学習、およびシンボル操作。
科学者たちはまた、「オブジェクトとそのパーツに固有の参照フレームを割り当て、幾何学的関係を使用してオブジェクトを認識するニューラルネットワーク」に関する作業もサポートしています。 これは「カプセルネットワーク、」ヒントンが過去数年間に焦点を当ててきた研究分野。 カプセルネットワークは、ニューラルネットワークを画像内の特徴の検出からオブジェクト、それらの物理的特性、およびそれらの相互の階層関係の検出にアップグレードすることを目的としています。 カプセルネットワークは、「直感的な物理学、」人間と動物がXNUMX次元環境を理解できるようにする機能。
「ニューラルネットワークを本当に効果的にする方法についての私たちの理解に関しては、まだ長い道のりがあります。 そして、根本的に新しいアイデアがあることを期待しています」とヒントンはACMに語った。
Ben Dicksonは、ソフトウェアエンジニアであり、TechTalksの創設者です。 彼はテクノロジー、ビジネス、そして政治について書いています。
この話はもともと Bdtechtalks.com。 著作権2021
VentureBeatの
VentureBeatの使命は、技術的な意思決定者が革新的なテクノロジーと取引についての知識を習得するためのデジタルタウンスクエアになることです。 私たちのサイトは、あなたが組織を率いるときにあなたを導くためのデータ技術と戦略に関する重要な情報を提供します。 以下にアクセスして、コミュニティのメンバーになることをお勧めします。
- あなたが興味を持っている主題に関する最新情報
- ニュースレター
- ゲート付きのソートリーダーコンテンツと、次のような貴重なイベントへの割引アクセス 変換2021： もっと詳しく知る
- ネットワーク機能など
PlatoAi。 Web3の再考。 増幅されたデータインテリジェンス。
出典：https：//venturebeat.com/2021/07/05/the-future-of-deep-learning-according-to-its-pioneers/
