早期終了(Early Stopping)

Early Stopping

早期終了(Early Stopping)とは、検証データの損失が改善しなくなった時点で学習を自動的に打ち切る正則化手法です。過学習を防ぎながら最適なエポック数を自動で決定でき、実務で非常に頻繁に使用されます。

仕組み

各エポックの終了時に検証損失を確認し、連続して一定回数(patience)改善しなかった場合に学習を停止します。最も検証損失が低かった時点のモデルを最終モデルとして採用します。

patience(忍耐度)の設定

patienceが小さすぎると学習が早期に打ち切られ、大きすぎると過学習した後も無駄に学習を続けます。一般的に5〜20程度の値が使われますが、タスクやモデルに応じて調整が必要です。

他の正則化との関係

早期終了はL2正則化と数学的に類似した効果を持つことが知られています。ドロップアウトやL2正則化と併用されることも多く、追加の計算コストなしで過学習を抑制できる実用的な手法です。