転移学習

Transfer Learning

転移学習(Transfer Learning)とは、あるタスクで学習した知識(モデルのパラメータ)を、別の関連タスクの学習に活用する手法です。少ないデータでも高い性能を達成でき、学習時間を大幅に短縮できます。

転移学習の仕組み

大規模データセット(ImageNetなど)で事前学習された(Pre-trained)モデルを出発点として、目的のタスクに合わせて追加学習します。事前学習で獲得した汎用的な特徴抽出能力を新しいタスクに転用します。

表:転移学習の要点まとめ
ひとことで言うとあるタスクで学んだ知識を、別のタスクに持ち込んで活用する手法。
何がうれしいかデータが少なくても、短時間・低コストで実用的な精度が出せる。
注意点元のタスクと差がありすぎると、かえって精度が落ちることがある。

ファインチューニングとの関係

転移学習では、事前学習モデルの一部または全体のパラメータを新しいタスクのデータで更新する「ファインチューニング」が一般的です。特徴抽出器として固定して使う方法(Feature Extraction)もあります。

図:転移学習の流れ
1大規模データで学習公開モデルを利用
▶
2特徴抽出部を流用汎用的な知識を持ち込む
▶
3出力部を差し替え自社の判定項目に合わせる
▶
4少量データで調整数百枚でも実用レベル
▶
5専用モデル完成低コストで実装

※ 中小企業がAIを導入するとき、最も現実的でコストの低い方法の一つです。

活用例

画像認識(ImageNet事前学習→医療画像分類)、自然言語処理(BERT/GPT事前学習→感情分析)、音声認識など、幅広い分野で転移学習は標準的なアプローチとなっています。