モデルベース強化学習とは
モデルベース強化学習（Model-Based Reinforcement Learning）とは、環境の動力学モデル（状態遷移関数や報酬関数）を明示的に学習または利用して方策を最適化する強化学習のアプローチです。環境モデルを用いてシミュレーションや計画を行うことで、サンプル効率を大幅に向上させることができます。
| ひとことで言うと | 環境の仕組み（次にどうなるか）を学んで、頭の中でシミュレーションする方式。 |
|---|---|
| 何がうれしいか | 少ない実試行で学習できる。実機での試行が高コストな場面に向く。 |
| 注意点 | 環境モデルが不正確だと、その誤りを前提に学習してしまう。 |
環境モデルの学習
環境モデルは、現在の状態sと行動aから次の状態s'と報酬rを予測する関数です。ニューラルネットワークで環境モデルを学習し、学習したモデル内でシミュレーション（「想像」）を行ってデータを生成し、方策の学習に利用します。DreamerシリーズやWorldモデルがこのアプローチの代表例です。
1少し試して観測実環境のデータ収集
▶
2環境モデルを学習次状態と報酬を予測
▶
3頭の中で試行モデル上で何度も検討
▶
4方策を改善実試行を節約できる
↺ 実データを足しながら1〜4をくり返す
モデルベース手法の利点
環境モデルを使って仮想的な経験を大量に生成できるため、実環境との相互作用回数を大幅に削減できます。これは実環境でのデータ収集コストが高い場合（ロボティクスなど）に特に有利です。また、モデルを使った先読み計画により、長期的な視点での意思決定が可能になります。
モデルベース手法の課題
環境モデルの不正確さが方策の品質に直接影響する「モデル誤差の蓄積」が最大の課題です。多ステップ先の予測ほど誤差が累積し、実環境との乖離が大きくなります。MuZeroのようにモデルを潜在空間で学習する手法や、モデルの不確実性を考慮するアンサンブル手法で対処する研究が進められています。