優先度付き経験再生とは
優先度付き経験再生（Prioritized Experience Replay）とは、経験再生バッファからのサンプリング時に、すべての経験を均等に選ぶのではなく、学習に有用な経験を優先的にサンプリングする手法です。2015年にDeepMindにより提案されました。
| ひとことで言うと | 学びが大きい経験を優先的に取り出して、効率よく学習する改良版。 |
|---|---|
| 何がうれしいか | 予想外だった経験から重点的に学べるので、学習が速くなる。 |
| 注意点 | 偏りが生じるため、重み付けで補正する必要がある。 |
TD誤差に基づく優先度
各経験の優先度は通常TD誤差の絶対値|δ|に基づいて設定されます。TD誤差が大きい経験は現在の価値推定と実際の値のズレが大きく、そこから多くのことを学べると期待されるためです。新しく追加された経験には最大の優先度を割り当て、少なくとも一度はサンプリングされるようにします。
1経験を保存TD誤差も一緒に記録
▶
2誤差の大きい順に予想外＝学びが大きい
▶
3優先的に抽出確率的に重み付け
▶
4重みで補正偏りを打ち消す
▶
5学習が加速同じ試行数で高精度
比例型とランクベース型
優先度付きサンプリングには、TD誤差の大きさに比例した確率でサンプリングする比例型（Proportional）と、TD誤差の順位に基づく確率でサンプリングするランクベース型（Rank-based）の2種類があります。
重要度サンプリング補正
優先度付きサンプリングは一様分布からの逸脱であるため、学習にバイアスが生じます。これを補正するために重要度サンプリング重み w_i = (1/(N·P(i)))^β を使用します。βは学習の進行とともに1に近づけ、補正を段階的に強めます。