Transformerとは
Transformer（トランスフォーマー）とは、2017年にGoogleの「Attention Is All You Need」論文で提案された深層学習アーキテクチャです。RNNやCNNを使わず、Self-Attention機構のみでシーケンスの処理を行う画期的な設計で、現代のNLPとAIの基盤技術となっています。
Transformerの構造
Transformerはエンコーダーとデコーダーの2つの部分で構成されます。各部分はMulti-Head Self-Attention層とFeed-Forward層の積み重ねで構築されています。位置符号（Positional Encoding）により系列中の位置情報を付与し、残差接続とLayer Normalizationで学習を安定化させています。
RNNとの比較
RNNは系列を逐次的に処理するため並列化が困難で、長距離の依存関係の学習にも課題がありました。Transformerは全位置間のAttentionを一度に計算できるため並列化が容易で、長距離の依存関係も直接的に捉えられます。この利点により大規模データでの効率的な学習が可能になりました。
Transformerの影響
TransformerはBERT（エンコーダーのみ）、GPT（デコーダーのみ）、T5（エンコーダー・デコーダー）など、現代の主要なNLPモデルの基盤となっています。さらに画像認識（Vision Transformer）や音声処理にも応用され、AI全般に大きな影響を与えています。