MuZeroとは
MuZero（ミューゼロ）とは、DeepMindが2019年に発表した強化学習アルゴリズムです。AlphaZeroをさらに発展させ、ゲームのルール（状態遷移関数）すら知らなくても学習できる点が画期的です。環境のダイナミクスを潜在空間で学習することで、モデルベースとモデルフリーの利点を融合しています。
学習モデルの構成
MuZeroは3つのニューラルネットワークで構成されます。Representation Function（表現関数）は観測を潜在状態に変換し、Dynamics Function（動力学関数）は潜在空間内で次の潜在状態と報酬を予測し、Prediction Function（予測関数）は潜在状態から方策と価値を出力します。
AlphaZeroとの違い
AlphaZeroはゲームのルール（完全な環境シミュレーター）をMCTSに使用しますが、MuZeroは学習した潜在空間モデルをMCTSに使用します。これにより、ルールが明示的に与えられない環境（Atariゲームなど）にも適用でき、汎用性が大幅に向上しました。
応用と発展
MuZeroは囲碁、チェス、将棋、Atariゲームのすべてで最先端の性能を達成しました。EfficientZeroはMuZeroのサンプル効率を改善した手法で、少量データでの学習を可能にしました。MuZeroの「計画のための学習モデル」という概念は、ロボティクスや実世界の意思決定問題への応用が期待されています。