回帰分析（統計）とは
回帰分析（Regression Analysis）とは、目的変数（従属変数）と1つ以上の説明変数（独立変数）の関係をモデル化し、予測や関係性の解明を行う統計手法です。機械学習における回帰とも関連しますが、統計学的な回帰分析では推定量の性質や仮説検定にも重点を置きます。
単回帰分析と重回帰分析
説明変数が1つの場合を単回帰分析、2つ以上の場合を重回帰分析と呼びます。単回帰分析は「y = a + bx」の直線モデルで関係を表し、重回帰分析は複数の説明変数の影響を同時に評価できます。重回帰分析では多重共線性（説明変数間の高い相関）に注意が必要です。
最小二乗法
回帰分析で最も一般的なパラメータ推定法は最小二乗法（OLS）です。実測値と予測値の差（残差）の二乗和を最小化するようにパラメータを決定します。OLSの推定量は、ガウス-マルコフの定理により、一定の条件下で最良線形不偏推定量（BLUE）となります。
回帰分析の評価と診断
回帰モデルの適合度は決定係数（R二乗）で評価されます。また、残差プロットによる仮定の検証、VIF（分散拡大係数）による多重共線性の確認、影響度分析による外れ値の検出など、モデルの診断も重要なステップです。