L1正則化(Lasso: Least Absolute Shrinkage and Selection Operator)とは、損失関数にモデルパラメータの絶対値の和を正則化項として追加する手法です。パラメータをスパース(多くのパラメータがゼロ)にする効果があり、特徴量選択としても機能します。
L1正則化の仕組み
L1正則化では、損失関数にλ×Σ|w_i|という項を追加します(λは正則化の強さを制御するハイパーパラメータ、w_iは各パラメータ)。この追加項により、学習過程で重要でないパラメータが自動的にゼロに収束し、モデルが簡素化されます。
特徴量選択としてのL1
L1正則化の大きな特徴は、不要な特徴量に対応するパラメータを完全にゼロにできることです。これにより、どの特徴量が予測に重要かを自動的に判別できるため、特徴量選択の手法としても広く利用されています。
L2正則化との比較
L1正則化がスパース解を生むのに対し、L2正則化はパラメータを全体的に小さくしますがゼロにはしません。データの特性に応じて使い分けるか、Elastic Netとして両者を組み合わせて使うこともあります。