創発能力とは
創発能力（Emergent Abilities）とは、大規模言語モデル（LLM）がある規模を超えた時に突然発現する、小規模モデルでは見られない質的に新しい能力のことです。2022年にGoogleの研究者らが体系的に報告し、AI研究コミュニティに大きな衝撃を与えました。
| ひとことで言うと | モデルがある規模を超えたとき、突然できるようになる能力のこと。 |
|---|---|
| 例 | 複数ステップの推論、文脈からの学習、指示への追従が急に現れた。 |
| 注意点 | 「本当に創発か、評価指標の見方の問題か」という議論もある。 |
創発能力の具体例
代表的な創発能力として、Chain-of-Thought（段階的推論）、算術演算の正確な実行、翻訳能力の飛躍的向上、プログラミングコードの生成、皮肉やユーモアの理解などが報告されています。これらはモデルサイズが一定の閾値を超えた時に、ランダムな正答率から急激に高い正答率へ遷移する特徴を持ちます。
1小規模ほぼできない
▶
2少し大きくまだできない
▶
3ある規模を超える急に性能が上がる
▶
4新しい能力が出現予測できなかった
▶
5議論は継続中評価方法の影響も
創発能力をめぐる議論
創発能力が本当に「突然出現」するのか、それとも評価指標の選び方による見かけ上の現象なのかは活発に議論されています。2023年のStanfordの研究では、連続的な評価指標を用いると創発的に見える能力も段階的に向上していることが示唆されました。
研究上の重要性
創発能力の存在は、スケーリングを続けることで予想外の新しい能力が出現する可能性を示唆しており、AGI研究やAI安全性研究において重要な論点となっています。