機械学習チュートリアル: 多項ロジスティック回帰 (ソフトマックス回帰)

前のXNUMXつの機械学習チュートリアルでは、ナイーブベイズと最大エントロピー分類子。このチュートリアルでは、ソフトマックス回帰とも呼ばれる多項ロジスティック回帰について説明します。 C ++、PHP、JAVAなどの従来のプログラミング言語で多項ロジスティック回帰を実装することは、モデルのパラメーターを推定するために反復アルゴリズムが必要であるという事実にもかかわらず、かなり簡単です。

更新：Datumbox Machine Learning Frameworkがオープンソースになり、無料でダウンロード。パッケージcom.datumbox.framework.machinelearning.classificationをチェックして、JavaでのSoftMax回帰分類子の実装を確認してください。

多項ロジスティック回帰とは何ですか？

多項ロジスティック回帰は、使用する仮説関数によりSoftMax回帰とも呼ばれ、監視あり
テキスト分類を含むいくつかの問題で使用できる学習アルゴリズム。それは回帰モデルですロジスティック回帰を一般化します出力がXNUMXつ以上の可能な値をとることがある分類問題に。多項ロジスティック回帰は、同じアクティブ化関数を使用するため、MaxEntアルゴリズムと密接に関連していることに注意してください。それでも、この記事では、Max Entropyチュートリアルで行ったのとは異なるコンテキストでメソッドを紹介します。

多項ロジスティック回帰を使用する場合

多項ロジスティック回帰は、反復アルゴリズムを使用してモデルのパラメーターを推定するため、ナイーブベイズと比較してトレーニングにかなり多くの時間が必要です。これらのパラメータを計算した後、SoftMax回帰は、CPUとメモリの消費に関して競争力があります。 Softmax Regressionは、異なるタイプ（連続、離散、ダミー変数など）の機能がある場合に推奨されますが、回帰モデルであるため、多重共線性の問題に対して脆弱であり、機能が高度に相関している場合は回避する必要があります。

Softmax回帰の理論的背景

同様に最大エントロピー、ドキュメント分類のコンテキストでアルゴリズムを紹介します。したがって、ドキュメントを特定のクラスに分類するために、ドキュメントのコンテキスト情報を使用します。トレーニングデータセットをm（x_i,y_i）ペアとし、kをすべての可能なクラスの数とします。また、 Bag-of-Wordsフレームワーク {w₁、…、w_n}は、テキスト内に表示できるn個の単語のセットです。

SoftMax回帰のモデルでは、すべての単語とカテゴリの組み合わせについて係数シータの推定が必要です。この係数の符号と値は、ドキュメント内の特定の単語の存在が、カテゴリへの分類にプラスまたはマイナスの効果があるかどうかを示します。モデルを構築するために、パラメーター。（θ_iベクトルはiの係数を格納します^th nワードのそれぞれのカテゴリ、および切片項の係数の1）。