基盤モデル(トレンド)

Foundation Model

基盤モデルとは

基盤モデル(Foundation Model)とは、大規模なデータで事前学習され、多様な下流タスクに適応可能な汎用AIモデルのことです。2021年にスタンフォード大学のHAI(Human-Centered AI Institute)が提唱した用語で、GPT、BERT、DALL-E、Stable Diffusionなどが代表例です。

表:基盤モデル(トレンド)の要点まとめ
ひとことで言うと大規模に事前学習され、多様な用途に使い回せる土台のモデル。
何が変わったか課題ごとにモデルを作る時代から、1つの土台を使い分ける時代へ移行した。
注意点土台の性質(偏り・限界)が、その上のすべてのサービスに引き継がれる。

基盤モデルのパラダイムシフト

従来のAI開発は「タスクごとに専用モデルを構築する」アプローチでしたが、基盤モデルのパラダイムでは「一つの大規模モデルを事前学習し、各タスクにファインチューニングする」アプローチへと移行しました。この変化により、AI開発の効率とアクセシビリティが劇的に向上しています。

図:基盤モデルによる開発の変化
1従来:課題ごとに作る毎回ゼロから学習
▶
2基盤モデルを使う学習済みの土台
▶
3プロンプトで指示学習なしで使える
▶
4必要なら微調整少量データで適応
▶
5開発が大幅に短縮数か月→数日

基盤モデルの進化

テキストのみだったGPT-2から、画像・音声・動画を扱うマルチモーダルモデルへと進化し、最新の基盤モデルはコード生成、科学的推論、創造的タスクなど幅広い領域をカバーしています。パラメータ数も数億から数兆規模へと拡大を続けています。

基盤モデルの課題

開発コストの巨大さ、ハルシネーション(事実に反する出力)、バイアスの内包、環境負荷、少数企業への集中といった課題が指摘されており、持続可能な開発と公正なアクセスが重要なテーマとなっています。