スケーリング則とは
スケーリング則（Scaling Laws）とは、AIモデルの性能がモデルサイズ（パラメータ数）、データ量、計算量の増加に対してべき乗則に従って予測可能に向上するという経験的法則です。2020年にOpenAIのKaplanらが大規模言語モデルで体系的に実証し、AI開発の指針として大きな影響を与えました。
| ひとことで言うと | モデルの大きさ・データ量・計算量を増やすほど、性能が予測可能に上がる法則。 |
|---|---|
| なぜ重要か | 「大きくすれば強くなる」ことが分かったため、巨額投資が正当化された。 |
| 注意点 | 無限に伸び続けるわけではない。データの枯渇や効率の限界が指摘されている。 |
三つのスケーリング要因
スケーリング則では、モデルのパラメータ数N、訓練データのトークン数D、訓練に使う計算量Cの3つが主要なスケーリング要因です。これらを増やすと損失（Loss）がべき乗的に減少し、性能が予測可能な形で向上します。重要なのは、これら3要素のバランスが最適であることです。
1モデルサイズパラメータ数を増やす
▶
2データ量学習データを増やす
▶
3計算量学習に費やす計算
▶
4性能が予測的に向上べき乗則に従う
▶
5限界も見え始めるデータの壁など
スケーリング則の意義
スケーリング則は、大規模モデルの開発戦略に科学的根拠を与えました。GPT-3からGPT-4へ、LLaMAからLLaMA 3へといった世代交代で見られる性能向上の多くは、スケーリング則に基づくリソース投入の結果です。
スケーリングの限界と議論
一方で、スケーリングだけでAGIに到達できるのかという議論も活発です。データの枯渇、エネルギーコスト、収穫逓減の可能性など、スケーリングの物理的・経済的限界が指摘されています。