モデルベース強化学習とは
モデルベース強化学習（Model-Based Reinforcement Learning）とは、環境の動力学モデル（状態遷移関数や報酬関数）を明示的に学習または利用して方策を最適化する強化学習のアプローチです。環境モデルを用いてシミュレーションや計画を行うことで、サンプル効率を大幅に向上させることができます。
環境モデルの学習
環境モデルは、現在の状態sと行動aから次の状態s'と報酬rを予測する関数です。ニューラルネットワークで環境モデルを学習し、学習したモデル内でシミュレーション（「想像」）を行ってデータを生成し、方策の学習に利用します。DreamerシリーズやWorldモデルがこのアプローチの代表例です。
モデルベース手法の利点
環境モデルを使って仮想的な経験を大量に生成できるため、実環境との相互作用回数を大幅に削減できます。これは実環境でのデータ収集コストが高い場合（ロボティクスなど）に特に有利です。また、モデルを使った先読み計画により、長期的な視点での意思決定が可能になります。
モデルベース手法の課題
環境モデルの不正確さが方策の品質に直接影響する「モデル誤差の蓄積」が最大の課題です。多ステップ先の予測ほど誤差が累積し、実環境との乖離が大きくなります。MuZeroのようにモデルを潜在空間で学習する手法や、モデルの不確実性を考慮するアンサンブル手法で対処する研究が進められています。