ハイパーパラメータ(Hyperparameter)とは、モデルの学習プロセスを制御するパラメータで、学習前に人間が設定する必要があるものです。モデルの重み(パラメータ)がデータから学習されるのに対し、ハイパーパラメータは学習アルゴリズムの振る舞いを決定します。
代表的なハイパーパラメータ
学習率、バッチサイズ、エポック数、正則化の強度、ニューラルネットワークの層数・ユニット数、決定木の最大深さ、k-NNのk値、SVMのカーネルパラメータなどが代表的です。
パラメータとの違い
パラメータ(重み、バイアス)はデータから自動的に学習される値であるのに対し、ハイパーパラメータは学習前に人間(または自動チューニング手法)が設定する値です。この区別は機械学習において非常に重要です。
適切な設定の重要性
ハイパーパラメータの設定はモデルの性能に大きく影響します。グリッドサーチ、ランダムサーチ、ベイズ最適化などの自動チューニング手法を用いて最適な値を探索するのが一般的です。