BERTとは
BERT（Bidirectional Encoder Representations from Transformers）は、2018年にGoogleが発表した自然言語処理モデルです。双方向のコンテキスト理解を可能にし、NLPの多くのベンチマークで当時の最高性能を達成して、自然言語処理研究に革命をもたらしました。
革新的な事前学習手法
BERTの最大の革新は、文中の単語をランダムにマスクして予測する「マスク言語モデル（MLM）」と、2つの文が連続しているかを判定する「次文予測（NSP）」という2つの事前学習タスクにあります。これにより、従来の左から右への一方向的な言語理解ではなく、前後の文脈を同時に考慮した双方向の理解が可能になりました。
NLPへのインパクト
BERTは発表直後にSQuAD（質問応答）やGLUE（言語理解ベンチマーク）など11のNLPタスクで最高性能を記録しました。さらに重要なことに、大規模データで事前学習した汎用モデルを少量のデータでファインチューニングするというパラダイムを確立し、NLP研究と実務の両方を大きく変革しました。
歴史的位置づけ
BERTの成功はGoogleの検索エンジンにも組み込まれ、実社会への影響も大きいものでした。RoBERTa、ALBERT、DistilBERTなど多くの派生モデルが生まれ、「BERTology」という研究分野まで形成されました。BERTはTransformerアーキテクチャの可能性を広く知らしめ、GPTシリーズとともに大規模言語モデル時代の礎を築きました。