データの壁とは
データの壁（Data Wall）とは、大規模言語モデル（LLM）の訓練に利用可能な高品質テキストデータが枯渇しつつあるという問題を指します。スケーリング則に従ってモデルを大規模化し続けるためには、対応するデータ量の増加が必要ですが、インターネット上のテキストデータには上限があります。
| ひとことで言うと | 学習に使える高品質なテキストが尽きかけているという、規模拡大の限界。 |
|---|---|
| 何が問題か | スケーリング則に頼った性能向上が、データ不足で続けられなくなる。 |
| 注意点 | 対策として合成データ、マルチモーダル化、効率的な学習手法が模索されている。 |
データ枯渇の実態
研究者らの推計によると、インターネット上の高品質テキストデータは有限であり、現在の消費ペースでは2026年頃までに枯渇する可能性が指摘されています。Webスクレイピングで得られる低品質データを含めても、モデルの性能向上に寄与するデータには限りがあります。
1Webデータを使い切る高品質分は枯渇に近い
▶
2性能向上が鈍化スケーリングの限界
▶
3合成データを使うAIが作ったデータで学習
▶
4他の種類を活用画像・音声・動画
▶
5効率化で補う少ないデータで学ぶ手法
データの壁への対応策
合成データの活用、データの質的向上（フィルタリング・キュレーション）、マルチモーダルデータの活用、推論時計算（Test-time Compute）の強化、データ効率の高い学習手法の開発などが対応策として研究されています。
AI開発への影響
データの壁は、「スケーリング則に基づく性能向上は永続しない」という認識を広め、AI開発のパラダイムシフトを促す可能性があります。データ量ではなくデータの質やアルゴリズムの革新が今後より重要になるという見方が広がっています。