L2正則化（Ridge回帰）とは、損失関数にモデルパラメータの二乗和を正則化項として追加する手法です。パラメータ全体を小さく保つことで過学習を防ぎ、モデルの汎化性能を向上させます。
L2正則化の仕組み
L2正則化では、損失関数にλ×Σ(w_i)²という項を追加します。この項はパラメータの値が大きくなるほどペナルティも大きくなるため、モデルは大きなパラメータ値を避けるように学習します。結果として、各パラメータは小さな値に分散されます。
重み減衰との関係
深層学習の文脈では、L2正則化は「重み減衰（Weight Decay）」と呼ばれることが多いです。AdamWオプティマイザなどでは重み減衰がL2正則化として組み込まれています。
活用場面
L2正則化は多重共線性（特徴量間の強い相関）がある場合に特に有効です。相関の高い特徴量のパラメータを均等に縮小することで、モデルの安定性を向上させます。