階層型強化学習とは
階層型強化学習（Hierarchical Reinforcement Learning, HRL）とは、方策を複数の階層に分解し、高レベルの方策が抽象的なサブゴールや選択肢を決定し、低レベルの方策がそれを実現する具体的な行動を実行する強化学習のアプローチです。
| ひとことで言うと | 大きな目標を小さなサブタスクに分けて、階層的に学習する方式。 |
|---|---|
| 何がうれしいか | 長い手順が必要な課題でも学習が進み、覚えた動作を使い回せる。 |
| 注意点 | サブタスクの切り分け方の設計が難しい。自動化も研究途上。 |
階層化の動機
長い時間地平を持つ複雑なタスクでは、プリミティブな行動レベルでの学習は非効率です。人間が「料理をする」を「食材を切る→炒める→味付けする」と分解するように、タスクを階層的に分解することで学習効率と転移可能性が向上します。
1上位：目標を決める「部品を取りに行く」
▶
2下位：動作を実行「歩く」「つかむ」
▶
3サブ目標を達成下位が細かく制御
▶
4次の目標へ上位が順に指示
▶
5動作を再利用別タスクにも流用可
代表的な枠組み
Options Framework（オプション枠組み）では、開始条件、内部方策、終了条件を持つ時間的に拡張された行動（オプション）を学習します。Feudal Networks（封建ネットワーク）では、マネージャーがサブゴールを設定しワーカーがそれを達成するという主従関係で階層を構成します。HIRO、HAMなどの手法も研究されています。
課題と展望
サブゴールの適切な設計やサブタスクの自動発見は依然として困難な課題です。大規模言語モデルをハイレベルプランナーとして活用し、低レベルの行動は強化学習で学習する新しいアプローチも注目されています。