ランダムサーチ

ランダムサーチ（Random Search）とは、ハイパーパラメータの探索空間からランダムに値をサンプリングしてモデルを評価するチューニング手法です。2012年にBergstraとBengioにより、グリッドサーチよりも効率的であることが実証されました。

グリッドサーチより効率的な理由

多くの問題では、一部のハイパーパラメータのみが性能に大きく影響します。グリッドサーチは重要でないパラメータにも均等に探索コストをかけますが、ランダムサーチは重要なパラメータについて多様な値を試せるため、同じ計算予算でもより良い結果を見つけやすいです。

探索空間の定義

各ハイパーパラメータの分布（一様分布、対数一様分布など）を定義し、そこからランダムにサンプリングします。学習率のように広い範囲をカバーする必要があるパラメータには対数スケールが適しています。