ロジスティック回帰(Logistic Regression)とは、名前に「回帰」とありますが、実際には二値分類を行うための機械学習アルゴリズムです。シグモイド関数を用いて入力を0〜1の確率に変換し、分類判定を行います。
シグモイド関数による確率出力
ロジスティック回帰は線形回帰の出力をシグモイド関数σ(z) = 1/(1+e^(-z))に通して0から1の値に変換します。この出力値を「クラス1に属する確率」として解釈し、閾値(通常0.5)と比較してクラスを判定します。
損失関数
ロジスティック回帰ではバイナリ交差エントロピー損失(Log Loss)が使用されます。この損失関数は凸関数であるため、勾配降下法で大域的最適解に確実に収束するという利点があります。
多クラス分類への拡張
ソフトマックス回帰(多項ロジスティック回帰)として多クラス分類に拡張でき、One-vs-Rest(OvR)やOne-vs-One(OvO)などの戦略も利用できます。シンプルながら強力なベースラインモデルとして広く使われています。