探索と活用とは
探索と活用（Exploration vs Exploitation）とは、強化学習における根本的なジレンマです。活用（Exploitation）は現在の知識に基づいて最善と思われる行動を選ぶことであり、探索（Exploration）はより良い行動を発見するために未知の行動を試すことです。この両者のバランスを取ることが強化学習の成功の鍵となります。
| ひとことで言うと | 新しい手を試す（探索）か、今わかっている最善手を使う（活用）かのジレンマ。 |
|---|---|
| たとえると | いつもの店に行くか、新しい店を開拓するか。どちらも必要。 |
| 注意点 | 探索が少ないと局所的な答えで止まり、多すぎると成果が上がらない。 |
なぜバランスが重要か
活用だけを行うと、局所最適な方策に陥り、より良い方策を見つけられません。逆に探索だけでは、得られた知識を活かせず報酬の蓄積が進みません。例えば、いつも行くレストラン（活用）と新しい店を試すこと（探索）のトレードオフに似ています。
1学習初期情報がない＝探索中心
▶
2情報が溜まる良い手が見えてくる
▶
3徐々に活用へ探索の割合を下げる
▶
4学習後期ほぼ最善手を使う
探索手法
ε-greedy法は確率εでランダムな行動を選びます。ボルツマン探索はQ値に基づくソフトマックス分布から行動をサンプリングします。UCB（Upper Confidence Bound）は不確実性の高い行動を優先的に選択します。方策勾配法では方策のエントロピーにボーナスを与えて探索を促進します。
高度な探索手法
好奇心駆動型探索（Curiosity-driven Exploration）は予測誤差を内発的報酬として利用し、ランダムネットワーク蒸留（RND）やCount-basedな手法も研究されています。スパース報酬環境での効率的な探索は強化学習の主要な研究課題の一つです。