線形回帰（Linear Regression）とは、入力特徴量と出力の間に線形の関係を仮定し、その関係式のパラメータを推定する回帰分析手法です。機械学習で最もシンプルかつ基礎的なアルゴリズムの一つです。
線形回帰の数式
単純線形回帰はy = wx + bという式で表され、wが傾き（重み）、bが切片（バイアス）です。複数の特徴量を扱う重回帰では、y = w₁x₁ + w₂x₂ + ... + wₙxₙ + bとなります。
最小二乗法
線形回帰のパラメータは通常、最小二乗法（OLS: Ordinary Least Squares）で求めます。予測値と実測値の差の二乗和を最小にするパラメータを解析的に計算するか、勾配降下法で反復的に求めます。
線形回帰の仮定と限界
線形回帰は線形性、独立性、等分散性、正規性の仮定に基づいています。非線形な関係が存在するデータには適用が難しく、多項式回帰や非線形モデルの使用を検討する必要があります。