モデルフリー強化学習とは
モデルフリー強化学習（Model-Free Reinforcement Learning）とは、環境の動力学モデル（状態遷移関数や報酬関数）を明示的に学習せず、環境との直接的な相互作用から得られる経験のみに基づいて方策を学習するアプローチです。現在の深層強化学習で最も広く使われているパラダイムです。
| ひとことで言うと | 環境のルールを知らないまま、経験だけから学ぶ方式。 |
|---|---|
| どこで使う | 環境の仕組みが複雑で数式化できない場合。実務ではこちらが主流。 |
| 注意点 | 試行回数が非常に多く必要。シミュレータがないと現実的でない。 |
価値ベースと方策ベース
モデルフリー手法は大きく2つに分類されます。価値ベース手法（Q学習、DQNなど）は行動価値関数を学習し、そこから最適行動を導出します。方策ベース手法（REINFORCE、PPOなど）は方策を直接パラメータ化して最適化します。Actor-Critic手法は両者を組み合わせたハイブリッドです。
1環境は分からないルールは未知
▶
2とにかく試す行動して結果を見る
▶
3経験を蓄積状態・行動・報酬
▶
4価値や方策を更新経験から直接学ぶ
モデルフリー手法の利点
環境モデルの構築が不要なため、複雑で未知の環境にも適用できます。モデルの不正確さに起因する性能低下が生じないため、環境のダイナミクスが複雑な場合にロバストな学習が可能です。実装もモデルベース手法と比べてシンプルです。
モデルフリー手法の限界
環境モデルを使ったシミュレーションができないため、実環境との大量の相互作用が必要でサンプル効率が低いことが最大の課題です。実世界での試行錯誤がコスト高となるロボティクスなどの応用では、この制限が実用化の障壁となります。