線形回帰（Linear Regression）とは、入力特徴量と出力の間に線形の関係を仮定し、その関係式のパラメータを推定する回帰分析手法です。機械学習で最もシンプルかつ基礎的なアルゴリズムの一つです。
線形回帰の数式
単純線形回帰はy = wx + bという式で表され、wが傾き（重み）、bが切片（バイアス）です。複数の特徴量を扱う重回帰では、y = w₁x₁ + w₂x₂ + ... + wₙxₙ + bとなります。
| ひとことで言うと | 入力と出力の関係を直線（1次式）で表して、数値を予測する手法。 |
|---|---|
| 何がうれしいか | 係数を見れば「何がどれだけ効くか」が分かり、説明責任を果たしやすい。 |
| 注意点 | 曲線的な関係は表せない。外れ値の影響を強く受ける。 |
最小二乗法
線形回帰のパラメータは通常、最小二乗法（OLS: Ordinary Least Squares）で求めます。予測値と実測値の差の二乗和を最小にするパラメータを解析的に計算するか、勾配降下法で反復的に求めます。
1データを点で描く広告費と売上など
▶
2直線を仮定y = a×x + b
▶
3誤差を最小化点との差が最小の線
▶
4係数が決まるaとbの値を求める
▶
5予測に使う新しいxからyを算出
線形回帰の仮定と限界
線形回帰は線形性、独立性、等分散性、正規性の仮定に基づいています。非線形な関係が存在するデータには適用が難しく、多項式回帰や非線形モデルの使用を検討する必要があります。