スケーリング則とは
スケーリング則（Scaling Laws）とは、AIモデルの性能がモデルサイズ（パラメータ数）、データ量、計算量の増加に対してべき乗則に従って予測可能に向上するという経験的法則です。2020年にOpenAIのKaplanらが大規模言語モデルで体系的に実証し、AI開発の指針として大きな影響を与えました。
三つのスケーリング要因
スケーリング則では、モデルのパラメータ数N、訓練データのトークン数D、訓練に使う計算量Cの3つが主要なスケーリング要因です。これらを増やすと損失（Loss）がべき乗的に減少し、性能が予測可能な形で向上します。重要なのは、これら3要素のバランスが最適であることです。
スケーリング則の意義
スケーリング則は、大規模モデルの開発戦略に科学的根拠を与えました。GPT-3からGPT-4へ、LLaMAからLLaMA 3へといった世代交代で見られる性能向上の多くは、スケーリング則に基づくリソース投入の結果です。
スケーリングの限界と議論
一方で、スケーリングだけでAGIに到達できるのかという議論も活発です。データの枯渇、エネルギーコスト、収穫逓減の可能性など、スケーリングの物理的・経済的限界が指摘されています。