文脈埋め込みとは
文脈埋め込み（Contextual Embedding）とは、単語のベクトル表現を文脈に応じて動的に変化させる技術です。Word2Vecなどの静的な埋め込みでは各単語に固定されたベクトルが割り当てられますが、文脈埋め込みでは同じ単語でも周囲の文脈によって異なるベクトルが生成されます。
静的埋め込みとの違い
例えば「bank」という単語は「river bank（川岸）」と「bank account（銀行口座）」では意味が異なります。Word2Vecでは両者に同じベクトルが割り当てられますが、BERTなどの文脈埋め込みでは文脈に応じて異なるベクトルが生成され、多義語の区別が可能になります。
代表的な手法
ELMo（2018年）は双方向LSTMを使い、最初に文脈埋め込みの有効性を広く示しました。BERT（2018年）はTransformerのエンコーダーで双方向の文脈を同時に学習し、多くのNLPタスクで最高性能を達成しました。GPTシリーズは自己回帰的に文脈埋め込みを生成し、テキスト生成に優れています。
文脈埋め込みの応用
文脈埋め込みは、テキスト分類、固有表現認識、質問応答、感情分析、意味的類似度計算など、事実上すべてのNLPタスクの性能を向上させました。事前学習モデルの埋め込みをそのまま特徴量として使用したり、ファインチューニングして使用したりします。