L1正則化(Lasso)

L1 Regularization / Lasso

L1正則化(Lasso: Least Absolute Shrinkage and Selection Operator)とは、損失関数にモデルパラメータの絶対値の和を正則化項として追加する手法です。パラメータをスパース(多くのパラメータがゼロ)にする効果があり、特徴量選択としても機能します。

L1正則化の仕組み

L1正則化では、損失関数にλ×Σ|w_i|という項を追加します(λは正則化の強さを制御するハイパーパラメータ、w_iは各パラメータ)。この追加項により、学習過程で重要でないパラメータが自動的にゼロに収束し、モデルが簡素化されます。

特徴量選択としてのL1

L1正則化の大きな特徴は、不要な特徴量に対応するパラメータを完全にゼロにできることです。これにより、どの特徴量が予測に重要かを自動的に判別できるため、特徴量選択の手法としても広く利用されています。

L2正則化との比較

L1正則化がスパース解を生むのに対し、L2正則化はパラメータを全体的に小さくしますがゼロにはしません。データの特性に応じて使い分けるか、Elastic Netとして両者を組み合わせて使うこともあります。