マルチタスク学習

Multi-task Learning

マルチタスク学習(Multi-task Learning)とは、関連する複数のタスクを同時に学習させることで、各タスクの性能を向上させる手法です。タスク間で有用な表現を共有することで、個別に学習するよりも効率的かつ高性能なモデルを構築できます。

なぜ効果があるのか

関連タスクを同時に学習することで、①有用な特徴表現の共有、②暗黙的なデータ拡張効果、③正則化効果(個々のタスクのノイズが相殺される)、④タスク間の相補的な情報の活用、などの利点が得られます。

アーキテクチャ

ハードパラメータ共有(下位層を共有し上位層はタスク別)とソフトパラメータ共有(各タスクが独自のモデルを持ちパラメータ間の距離にペナルティ)の2つのアプローチがあります。

活用例

自然言語処理(品詞タグ付けと固有表現認識の同時学習)、自動運転(物体検出とセグメンテーションの同時学習)、レコメンデーション(クリック予測と購入予測の同時学習)など。