MuZeroとは
MuZero（ミューゼロ）とは、DeepMindが2019年に発表した強化学習アルゴリズムです。AlphaZeroをさらに発展させ、ゲームのルール（状態遷移関数）すら知らなくても学習できる点が画期的です。環境のダイナミクスを潜在空間で学習することで、モデルベースとモデルフリーの利点を融合しています。
| ひとことで言うと | ルールすら教わらず、環境の仕組みを自分で学んで計画するアルゴリズム。 |
|---|---|
| 何が画期的か | ゲームのルールが未知でも、AlphaZero並みの性能を達成した。 |
| 注意点 | 計算コストが非常に高い。実用には大規模な計算資源が要る。 |
学習モデルの構成
MuZeroは3つのニューラルネットワークで構成されます。Representation Function（表現関数）は観測を潜在状態に変換し、Dynamics Function（動力学関数）は潜在空間内で次の潜在状態と報酬を予測し、Prediction Function（予測関数）は潜在状態から方策と価値を出力します。
1ルールは未知何も教えられない
▶
2内部モデルを学習予測に必要な部分だけ
▶
3頭の中で先読み学んだモデル上で探索
▶
4行動を決定最善と思われる手
▶
5結果で修正モデルの精度が上がる
AlphaZeroとの違い
AlphaZeroはゲームのルール（完全な環境シミュレーター）をMCTSに使用しますが、MuZeroは学習した潜在空間モデルをMCTSに使用します。これにより、ルールが明示的に与えられない環境（Atariゲームなど）にも適用でき、汎用性が大幅に向上しました。
応用と発展
MuZeroは囲碁、チェス、将棋、Atariゲームのすべてで最先端の性能を達成しました。EfficientZeroはMuZeroのサンプル効率を改善した手法で、少量データでの学習を可能にしました。MuZeroの「計画のための学習モデル」という概念は、ロボティクスや実世界の意思決定問題への応用が期待されています。