自己教師あり学習（Self-supervised Learning）とは、ラベルなしデータからデータ自身の構造を利用して自動的に教師信号を生成し、有用な特徴表現を学習する手法です。大規模な事前学習の主要なパラダイムとなっています。
教師信号の生成方法
テキストでは「次の単語の予測」（GPT系）や「マスクされた単語の予測」（BERT系）、画像では「回転角度の予測」「画像パッチの相対位置予測」「マスクされた領域の再構成」（MAE）などが使われます。
| ひとことで言うと | データの一部を隠して当てさせるなど、正解を自動で作って学習する方法。 |
|---|---|
| どこで使う | LLMやBERTの事前学習、画像モデルの事前学習。今のAIの土台。 |
| 注意点 | 膨大なデータと計算資源が必要。通常は公開済みモデルを利用する。 |
対照学習との関係
対照学習（Contrastive Learning）は自己教師あり学習の一種で、同じデータの異なるビュー（拡張）は近く、異なるデータは遠くなるように表現を学習します。SimCLR、MoCo、BYOLなどが代表的です。
1ラベルなしデータ大量のテキストや画像
▶
2一部を隠す自動で問題を作る
▶
3隠した部分を予測残りを手がかりに
▶
4元データと照合正解は元データ自身
▶
5汎用知識を獲得土台モデルの完成
なぜ重要か
大量のラベルなしデータを活用でき、GPT、BERT、CLIP、DINOなどの基盤モデルの事前学習に使われています。ラベル付きデータが少ない場合でも、自己教師あり学習で獲得した表現を活用することで高い性能を達成できます。