転移学習は、過去数十年にわたってAIおよび機械学習コミュニティで注目を集めてきた手法です。 これは、ある問題を解決し、それを別の、しかし関連する問題に適用する間に得られた知識を保存することを指します。 これまでのところ、転移学習はに適用されています がんのサブタイプの発見, ビデオゲームプレイ, テキスト分類, 医療画像処理, スパムフィルタリング、 もっと。 著名なコンピューター科学者AndrewNg 2016によると その転移学習は、機械学習の商業的成功の主要な推進力のXNUMXつになるでしょう。

転移学習には利点があります。その主なものは、企業がより少ないトレーニングデータで新しい問題のために機械学習モデルを再利用できるようにすることです。 しかし、転移学習は、実行よりも理論的に単純であることがよくあります。 たとえば、ある問題についてトレーニングされ、別の問題に適用されたモデルは、時間の経過とともにモデルの精度が低下する負の転送に悩まされる可能性があります。

潜在的な落とし穴は、転移学習を使用したテクノロジーへの投資を検討している組織がテクニックの基本を理解することが重要である理由です。 この知識があれば、問題のドメインに関係なく、転移学習をうまく適用できる可能性が高くなります。

転移学習の起源

転移学習の起源は、1976年に学者のStevoBozinovskiとAnteFulgosiによって実施された研究にあります。その中で、共著者は、モデルトレーニングプロセス中にニューラルネットワークで転移学習を使用することを提案しました。 ほぼ1995年後、文字認識における転移学習の応用についての報告がありました。 しかし、この手法は、コロラド州デンバーで開催されたNIPS機械学習会議のワークショップで発表されたXNUMX年頃まで主流になったとは考えられていません。

特定のタスクとデータセットで発生する従来の機械学習とは対照的に、転移学習は、以前にトレーニングされたモデルの機能と重み（他の変数の中でも）を活用して新しいモデルをトレーニングします。 特徴は、データセットから抽出された情報であり、ドキュメントの署名ボックスや書体のエッジ、形状、コーナーなど、モデルの学習プロセスを簡素化します。 一方、重みは、特定の入力データが出力データにどのように影響するかを決定します。

モデルは、転移学習のXNUMXつの段階でトレーニングされます。 まず、再トレーニングがあります。この場合、モデルは、さまざまなカテゴリを表すベンチマークデータセットでトレーニングされます。 次は微調整です。ここでは、対象のターゲットタスクについてモデルがさらにトレーニングされます。 事前トレーニングステップは、モデルがターゲットタスクで再利用できる一般的な機能を学習するのに役立ち、精度を高めます。

転移学習には、特に画像と音声の認識、および自然言語処理（NLP）において、豊富なユースケースがあります。 たとえば、自動運転車用にトレーニングされたモデルは、少なくとも部分的には自動運転トラックに活用できる可能性があります。 そして、DeepMindのような中国のボードゲーム囲碁をプレイしながら戦略を開発したモデル アルファゼロ —チェスのような関連ゲームに適応できる可能性があります。

グーグルとアマゾンはで転送学習を使用しています Google翻訳 & アレクサ これにより、リソースの多い言語（フランス語、ドイツ語、スペイン語など）のトレーニングを通じて収集された洞察を、リソースの少ない言語（ヨルバ語、シンド語、ハワイ語）の翻訳に適用できます。 一方、Yelp 使用しました ユーザーがビジネスリストにアップロードしたスパムが含まれている可能性が最も高い写真を特定するための学習を転送します。

転移学習の種類

転移学習にはいくつかの異なる種類があり、それぞれに独自の利点があります。帰納的、教師なし、およびトランスダクティブ転移学習です。 誘導転送学習では、ソースドメインとターゲットドメイン 同じだ、それでもソースタスクとターゲットタスクは異なります。 教師なし学習には、 同様の —ただし同一ではありません—ラベル付きデータのないソースドメインとターゲットドメイン。 トランスダクティブトランスファー学習に関しては、ソースタスクとターゲットタスクの間に類似点がありますが、ドメインは異なり、ターゲットドメインのみにラベル付きデータがありません。

監督されない 転移学習モデルはと区別されます 監督 彼らがしなければならないという点でモデル データを分類することを自分自身に教える、ラベルのないデータを処理して、その固有の構造から学習します。 教師あり伝達学習モデルは、入力と出力の結果の間の基本的な関係を検出できるようになるまで、特定の出力に注釈が付けられた入力データでトレーニングされます。

転送学習は、転送されるモデルのコンポーネントによってさらに分類できます。 たとえば、インスタンス転送はソースドメインからターゲットタスクへの知識を再利用しますが、パラメータ転送は、関連するタスクのモデルがいくつかのパラメータを共有していることを前提として機能します。 パラメータは、トレーニングデータから学習されるモデル内部の機能（重みを含む）です。

課題

転移学習には、新しいタスクのトレーニングプロセスをスピードアップするという利点がたくさんあります。 一方、OpenAIのようなモデルは GPT-3 およびDeepMindの AlphaStar トレーニングには強力なハードウェアと数え切れないほどの時間が必要になる場合があります。転移学習によって作成された「微調整された」モデルは、通常、わずかな時間と労力で済みます。

データ分析会社AnalyticsEnginesのデジタルマーケティングエグゼクティブであるPJKirkが指摘するように、転移学習により、より多くの組織がAIと機械学習をコアビジネス戦略に組み込むことができます。 「財務、時間、インフラストラクチャのコストが削減されたことで、AIと機械学習がこれまでになく利用しやすくなりました」と彼は言います。 ブログ記事に書いた。 「組織は、専用のディープラーニングモデルを作成する必要がなくなり、代わりに他の人の専門知識とモデルを活用して、ソリューションを構築するための基盤を提供できます。

しかし、転移学習には挫折がないわけではありません。 問題のドメインの非類似性が高すぎるか、モデルが新しいドメインのデータセットをトレーニングできないことが原因で、前述の負の転送が発生します。 そして、もうXNUMXつの障壁があります。それは説明可能性です。 最近のブレークスルーにもかかわらず、転送を成功させるものと、モデルのどの部分が転送の原因であるかを理解することは依然として困難です。

説明可能性の面で良いニュースとして、Googleの研究者 最近 転移学習の基礎に光を当てる論文を発表しました。 彼らは、機能がモデルの「密度」に特化し、機能の再利用が入力データに近いモデルの部分でより一般的になることを発見しました。 これに加えて、彼らは、精度を犠牲にすることなく、当初想定されていたよりも早く、ターゲットタスクで事前トレーニングされたモデルを微調整できることを発見しました。

福利厚生

Googleのように機能することは、転移学習に関する課題が克服できないものではないことを示しています。 いずれにせよ、メリットは確かにそれだけの価値があるようです。

AIコンサルタント会社Prolegoの共同創設者であるKevinDewaltは、転移学習は同等の部分で効率的かつ経済的であると主張しています。 「CFOがカロリーでラベル付けされた食事の1,000枚の写真を生成するのに十分な予算しか承認していないと仮定します。これは、データサイエンティストが要求したもののわずか1％です。 より多くのお金を物乞いする前に、あなたは転移学習を通して結果を[生み出すことができます]」と彼は言いました。 中程度の投稿で書いた。 「GoogleまたはFacebookでない限り、ラベル付きデータの取得には法外な費用がかかる可能性があります。 転移学習技術は、XNUMXつの主要なビジネス上の利点を提供します。より高速な実験[および]より高いROI、[なぜなら]転移学習は、進行中のデータ管理のコストを削減し、機械学習プロジェクトのROIを高めることができるからです。」

万能薬とは言えませんが、転移学習は、NLP、オーディオとビデオの処理、画像のキャプションモデルなど、多くの問題領域にすでに適用されています。 関連する問題領域の新しいモデルのトレーニングに直面した場合、またはトレーニングデータの量が最小限の場合、転移学習は貴重な時間とエネルギーを節約できます。