グリッドサーチ（Grid Search）とは、ハイパーパラメータの候補値をあらかじめ格子状に定義し、すべての組み合わせを試して最適な設定を見つける網羅的な探索手法です。
手順
各ハイパーパラメータの候補値のリストを定義し、それらのすべての組み合わせに対してモデルを学習・評価します。通常、交差検証と組み合わせて各組み合わせの性能を評価し、最も性能の良い組み合わせを選択します。
| ひとことで言うと | 候補値を格子状に並べ、すべての組み合わせを総当たりで試す探索方法。 |
|---|---|
| 何がうれしいか | 確実に範囲内の最良を見つけられ、結果が再現できる。 |
| 注意点 | 候補が増えると組み合わせが爆発する。3個×3個×3個でも27回の学習が必要。 |
利点と限界
すべての組み合わせを網羅的に探索するため、最適解を見逃さないという利点があります。しかし、ハイパーパラメータの数や候補値が増えると組み合わせ数が指数的に増加し、計算コストが爆発的に増大するという限界があります。
1候補値を列挙学習率3種×深さ3種
▶
2全組み合わせ作成9通りの設定
▶
3すべて学習・評価9回まわす
▶
4最良を採用スコア1位の設定
ランダムサーチとの比較
ランダムサーチは同じ計算予算でもより広い範囲を探索でき、重要でないハイパーパラメータに計算資源を無駄にしないため、多くの場合グリッドサーチより効率的です。