Attention機構とは
Attention機構（Attention Mechanism）とは、モデルが入力の中で特に重要な部分に選択的に注目する仕組みです。2015年にBahdanauらが機械翻訳に導入し、その後Transformerアーキテクチャの中核技術として自然言語処理に革命をもたらしました。
| ひとことで言うと | 入力の中の「今どこが大事か」に重みを付けて注目する仕組み。 |
|---|---|
| 何がうれしいか | 長い文でも必要な箇所を直接参照でき、翻訳や要約の精度が飛躍的に向上した。 |
| 注意点 | 入力が長くなるほど計算量が2乗で増える。 |
Attentionの仕組み
Attention機構はQuery（クエリ）、Key（キー）、Value（バリュー）の3つの要素で構成されます。クエリとキーの類似度を計算してAttentionスコア（重み）を求め、その重みでバリューの加重和を取ります。これにより、入力の中で現在のタスクに関連する部分に「注目」して情報を集約できます。
1入力文を読む全語をベクトル化
▶
2出力語を作る時入力のどこを見るか判断
▶
3重みを計算関連が強い語ほど大きく
▶
4重み付きで合成必要な情報だけ濃く
▶
51語を出力対応する訳語を生成
Self-AttentionとCross-Attention
Self-Attention（自己注意）は同一の入力系列内での各要素間の関係を計算します。Transformerの基盤技術であり、文中の離れた位置にある単語間の依存関係も直接捉えられます。Cross-Attention（交差注意）はエンコーダーの出力とデコーダーの入力など、異なる系列間のAttentionを計算します。
Multi-Head Attention
Multi-Head Attentionは複数のAttentionヘッドを並列に計算し、異なる「観点」からの注目パターンを学習します。あるヘッドは構文的な関係に、別のヘッドは意味的な関係に注目するなど、多角的な情報統合が可能になります。