創発能力とは
創発能力（Emergent Abilities）とは、大規模言語モデル（LLM）がある規模を超えた時に突然発現する、小規模モデルでは見られない質的に新しい能力のことです。2022年にGoogleの研究者らが体系的に報告し、AI研究コミュニティに大きな衝撃を与えました。
創発能力の具体例
代表的な創発能力として、Chain-of-Thought（段階的推論）、算術演算の正確な実行、翻訳能力の飛躍的向上、プログラミングコードの生成、皮肉やユーモアの理解などが報告されています。これらはモデルサイズが一定の閾値を超えた時に、ランダムな正答率から急激に高い正答率へ遷移する特徴を持ちます。
創発能力をめぐる議論
創発能力が本当に「突然出現」するのか、それとも評価指標の選び方による見かけ上の現象なのかは活発に議論されています。2023年のStanfordの研究では、連続的な評価指標を用いると創発的に見える能力も段階的に向上していることが示唆されました。
研究上の重要性
創発能力の存在は、スケーリングを続けることで予想外の新しい能力が出現する可能性を示唆しており、AGI研究やAI安全性研究において重要な論点となっています。