この記事は、の一部として公開されました データサイエンスブログソン
ロジスティック回帰の幾何学的直観の紹介
みんなこんにちは！ データ サイエンスや機械学習のコミュニティでは、分類と回帰という用語をよく目にすることがあります。この XNUMX つは機械学習の主な柱です。 分類はラベルの予測がすべてであり、回帰は実数値データの予測がすべてです。 分類タスクに使用する機械学習アルゴリズムは多数ありますが、一般に、ほとんどの場合、単純ベイズ、KNN、ロジスティック回帰が使用されます。 そこで、ここではロジスティック回帰の詳細、幾何学的な直観とは何か、数学的な直観とは何かなどについて説明します。先に進む前に、理解を深めるためにロジスティック回帰について簡単に説明します。
画像1
ロジスティック回帰
ここで、名前はロジスティック回帰を示唆していますが、回帰アルゴリズムであると考えていますが、そう考えるのはやめてください。 実際には、これは分類アルゴリズムです。 これは、現実世界の多くの問題を解決するために使用される最も一般的な分類機械学習アルゴリズムです。 これは、クラス ラベルを線形に分離する線または平面を見つけることが主な前提であるため、回帰と呼ばれます。 データポイントまで直線的に分離するため、回帰と呼ばれます。 幾何学的に非常にシンプルなアルゴリズムなので、アルゴリズムの流れを簡単に理解できます。
確率的解釈や損失関数など、複数の観点からロジスティック回帰を導き出すことができますが、ここでは、幾何学はより視覚的で問題を理解しやすいため、幾何学的直観からロジスティック回帰を導き出す方法を見ていきます。 確率論的アプローチと損失関数アプローチも検討しますが、深くは説明しません。
始めましょう>>
ロジスティック回帰の幾何学的直観を理解する
仮定を忘れる必要はありませんでしたが、 ロジスティック回帰では、クラス ラベルを直線的に分離する線または平面を見つけようとします。 この仮定に基づいて、平面とデータ点を描画します。
画像に見られるように、2 つのクラスの点があると想像してください。すべての赤い点がネガティブなラベルが付けられた点で、すべての青い点がポジティブなラベルが付けられた点であり、XNUMX 次元または ND の場合は平面を描きます。次に超平面を描きます。 そこで、平面を描きます π これはデータポイントを線形に分離します。 画像でわかるように、飛行機では通常の状態です。 W それは平面に垂直です。
高次元の平面の方程式は次のとおりであることがわかっています。
平面 (π) = W^X + b
飛行機が原点を通過する場合 b=0。 全体として、私たちは見つけたり発見したりする必要があります W & b これは、次のような平面に対応します。 π を分離します + ve & -ve を指しています。
データポイントを取得するとします Xi 画像にあるように、これがクエリ点であり、平面からその点までの距離 (π) を見つける必要があります。 それで距離は Di は次のように書かれます:
つまり、これは点の距離です Xi 平面からの距離ですが、その点の現在の距離が正であるか負であるかはどのように判断すればよいでしょうか?
画像でわかるように、片側がポイントです Xi そしてもう一つの側面にポイントがあります Xj 対応するクラスラベルがあります Y, の距離 Xi 飛行機に乗るのは の、 & Xj 飛行機へは Dj。 したがって、制約を次のように受け取ります。
* Xi と法線 W が同じ側または同じ方向にある場合、距離 Di > 0 または Yi が正であるとみなします。
* Xj とその距離 Dj が通常の W と逆の場合、距離 Dj< 0 または Yj が負であるとみなします。
特定の点が肯定的または否定的に予測されるとどのように言えますか? そこで、いくつかの単純化した仮定やケースを確認してみましょう。
1. クラスラベルが正の場合 Yi = +ve (実際のクラスラベル) と W^Xi > 0 または、Xi と W が同じ側にある場合、分類子は、クラス ラベルも正であると予測されます。これは、その予測が正しいことを意味します。 true.
2. クラスラベルが負の場合 イ = -ヴェ(実際のクラスラベル) と W^Xi < 0 点が W の反対側にあることを意味し、分類子は正しいクラス ラベルを予測しました。
3. クラスラベルが正の場合 イ＝＋ヴェ (実際のクラスラベル) と W^Xi < 0、それで、これが起こるとき、私たちの 実際のクラスラベル is + ve と 分類器が予測される その -ve それなら予測は間違っています。
4. クラスラベルが負の場合 イ = -ヴェ(実際のクラスラベル) と W^Xi > 0, つまり、実際のクラスラベルは -ve で、分類器がその +ve を予測した場合、予測は false になります。
したがって、上記のケースからの結論は、分類器は正しく予測された点の最大数と誤った予測の最小数を予測する必要があるということです。 したがって、正しく予測された点を最大化し、不正確な点が最小限に抑えられる最適な平面を見つける必要があります。
したがって、最適な方程式は次のようになります。
外れ値はモデルにどのような影響を与えるでしょうか?
一般に、データには外れ値も存在し、モデルのパフォーマンスに影響を与えます。そこで、モデルのパフォーマンスが外れ値によってどのような影響を受けるかをよりよく理解するために、簡単な例を見てみましょう。
XNUMX つのプランを例に挙げるとします。 p1 & p2 XNUMX クラスのラベル データ ポイントを分離するために使用されます。 + ve & -ヴェ。
画像からわかるように、正と負の 1 つのクラス ラベル データ ポイントを分離する平面 π2 と平面 πXNUMX があります。 画像でわかるように、これらの点は平面から等距離にあり、平面からさらに離れた外れ値が XNUMX つ存在します。 p1 他のデータポイントと比較して非常に近い p2 他のデータポイントと比較してください。
計算してみると、 Yi*W^Xi π1 の場合は負になり、平面 π2 の場合は正になります。 したがって、私たちの計算によると、平面 π2 が私たちが見つけている平面に最もよく適合し、平面 π1 はダム平面であると結論付けられます。実際には、平面 π1 が最高の精度を提供することがわかっても、私たちの平面が使用されるとは考えないでください。 π2。 π2 は、いいえが多いほど正しく分類できませんでした。 π1 と比較したポイントの。 したがって、そのような外れ値はモデルにさらに大きな影響を与えます。
外れ値からモデルを維持するには、最適関数を変更する必要があります。 W* = argmax( Σ Yi*W^Xi ). スカッシングを使用します。
スカッシングを使用した最適関数の変更
最適な関数を変更するには、スカッシング手法を使用します。その考え方は次のとおりです。
1. 符号付き距離または平面から点までの距離が小さい場合は、それをそのまま使用します。
2。 前の例で見たように符号付き距離が大きい場合は、それをより小さい値に変換します。
このような外れ値からモデルを維持するために、最適な方程式に対して何らかの関数を使用します。 以下では、スカッシング手法を適用して最適な項を変換することがわかります。
我々は、使用します シグモイド (σ(x) )方程式を最適化する関数です。 Xi の距離がより高い平面から増加する場合、シグモイド関数はその距離を 0 ～ 1 の間の値に押し込みます。これは確率的な解釈を提供します。
画像2
シグモイド関数は次のように記述されます。
σ(x) = 1/ (1 + e-x )
シグモイド関数の最大値は次のとおりです。 1
シグモイド関数の最小値は次のとおりです。 0
そして、点 Xi の平面からの距離が 0 の場合、その確率は 0.5 になります。
シグモイド関数を最適な方程式に適用すると、関数は次のようになります。
したがって、これは外れ値から最適な方程式を維持するのに役立つ最適なシグモイド関数です。
エンドノート
これがロジスティック回帰の幾何学的直観であり、さらに、パート 2 で何らかの解釈を使用して最適関数を解きます。この記事が気に入っていただければ幸いです。
ありがとうございました。
Linkedinで私とつながる： マユール・バドール
画像ソース
- 画像 1 – https://engineering.eckovation.com/assumptions-regression-models/
- 画像 2 – https://en.wikipedia.org/wiki/Logistic_regression
この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、作成者の裁量で使用されています。
関連記事
PlatoAi。 Web3の再考。 増幅されたデータインテリジェンス。
アクセスするには、ここをクリックしてください。
