PEFTとは
PEFT（Parameter-Efficient Fine-Tuning：パラメータ効率的ファインチューニング）とは、大規模言語モデル（LLM）のパラメータの一部のみを更新することで、計算コストとメモリ使用量を大幅に削減しながら効果的にモデルをカスタマイズするアプローチの総称です。全パラメータを更新するフルファインチューニングと比較して、同等またはそれに近い性能を実現します。
主なPEFT手法
PEFTには複数の手法が含まれます。LoRA（Low-Rank Adaptation）は重み行列の更新を低ランク近似で行う手法、Prefix Tuningはモデルの各層の先頭に学習可能な仮想トークンを追加する手法、Adapter Layersは既存のTransformer層の間に小さなネットワークを挿入する手法です。また、プロンプトチューニング（Prompt Tuning）は入力埋め込みに学習可能なベクトルを追加する手法で、最もパラメータ数が少ない方式です。
PEFTの利点と選択基準
PEFTの主な利点は、計算コストの削減、メモリ効率の向上、元のモデルの知識の保持（壊滅的忘却の軽減）、複数タスク用アダプターの管理容易性です。手法の選択はタスクの複雑さ、利用可能な計算リソース、必要な性能レベルに応じて行います。Hugging FaceのPEFTライブラリにより、これらの手法を統一的なAPIで簡単に利用できるようになっています。