事前学習とは
事前学習（Pre-training）は、大規模なデータセットを用いてニューラルネットワークを事前に訓練するプロセスです。特定のタスクに取り組む前に、汎用的な知識やデータの表現を学習させることで、少量のデータでも高精度なモデルを効率的に構築できるようになります。現代のディープラーニングにおいて、事前学習は標準的なアプローチとなっています。
事前学習の方法
事前学習にはいくつかのアプローチがあります。自然言語処理ではマスク言語モデル（BERT方式）や次トークン予測（GPT方式）による自己教師あり学習が主流です。コンピュータビジョンではImageNetでの画像分類による教師あり事前学習や、SimCLRやMAEなどの自己教師あり手法が使用されます。また、CLIP（Contrastive Language-Image Pre-training）のようにテキストと画像のペアを用いた対照学習による事前学習も注目されています。
事前学習の利点
事前学習されたモデルは、言語の構造、画像の特徴、データの一般的なパターンなど、広範な知識をパラメータに蓄積しています。これにより、下流タスクでのファインチューニングに必要なデータ量と計算リソースが大幅に削減されます。特にデータが限られた専門領域（医療、法律など）では、事前学習の恩恵が顕著です。
基盤モデルと事前学習
GPT、BERT、LLaMAなどの大規模モデルは、膨大なテキストデータでの事前学習によって強力な言語理解・生成能力を獲得しています。これらは基盤モデル（Foundation Model）と呼ばれ、さまざまなタスクにファインチューニングして利用されます。事前学習のスケールアップ（データ量、モデルサイズ、計算量の拡大）が性能向上の鍵となっており、スケーリング則（Scaling Laws）の研究も進んでいます。