ベースラインとは
ベースライン（Baseline）とは、モデルの性能を評価する際の比較基準となるシンプルなモデルや手法のことです。新しいモデルや手法の有効性を示すために、ベースラインとの性能差を明確にすることが学術研究・実務の両方で重要とされています。
ベースラインの種類
ベースラインにはいくつかの種類があります。ランダムベースライン（ランダムに予測する最低限の基準）、多数決ベースライン（最頻出クラスを常に予測）、単純な統計モデル（線形回帰、ロジスティック回帰など）、以前の最先端手法（Prior SOTA）などがあります。タスクに応じて適切なベースラインを設定します。
ベースラインの重要性
ベースラインがなければ、モデルの性能が「良い」のか「悪い」のかを判断できません。例えば、不均衡データセットで精度95%を達成したモデルは一見優秀に見えますが、多数決ベースラインが95%であれば、モデルは何も学習していないことになります。適切なベースラインとの比較が、モデルの真の価値を明らかにします。
実務でのベースライン活用
実務では、現在運用中のシステムやルールベースの手法がベースラインとなることが多いです。新しいMLモデルがこのベースラインを上回ることを示して初めて、モデルの導入が正当化されます。また、ベースラインからの改善幅は投資対効果の判断にも使われます。