L1正則化（Lasso: Least Absolute Shrinkage and Selection Operator）とは、損失関数にモデルパラメータの絶対値の和を正則化項として追加する手法です。パラメータをスパース（多くのパラメータがゼロ）にする効果があり、特徴量選択としても機能します。
L1正則化の仕組み
L1正則化では、損失関数にλ×Σ|w_i|という項を追加します（λは正則化の強さを制御するハイパーパラメータ、w_iは各パラメータ）。この追加項により、学習過程で重要でないパラメータが自動的にゼロに収束し、モデルが簡素化されます。
| ひとことで言うと | 重みの絶対値に罰則を与え、不要な特徴量の重みをぴったり0にする正則化。 |
|---|---|
| 何がうれしいか | 自動的に特徴量選択が行われ、モデルがシンプルで説明しやすくなる。 |
| 注意点 | 相関の強い特徴の中から1つだけ残す傾向があり、選ばれ方が不安定なことがある。 |
特徴量選択としてのL1
L1正則化の大きな特徴は、不要な特徴量に対応するパラメータを完全にゼロにできることです。これにより、どの特徴量が予測に重要かを自動的に判別できるため、特徴量選択の手法としても広く利用されています。
1多数の特徴量100列のデータ
▶
2絶対値で罰則小さい重みを0へ押す
▶
3重みが0になるその特徴は使われない
▶
4少数の特徴だけ残る解釈しやすいモデルに
L2正則化との比較
L1正則化がスパース解を生むのに対し、L2正則化はパラメータを全体的に小さくしますがゼロにはしません。データの特性に応じて使い分けるか、Elastic Netとして両者を組み合わせて使うこともあります。