Constitutional AIとは
Constitutional AI（憲法AI）とは、Anthropic社が提案したAIの安全性調整手法です。人間が定めた「憲法」（原則のセット）に基づいてAI自身が出力を評価・改善する仕組みにより、RLHFで必要な大量の人間のフィードバックへの依存を軽減しながら、安全で有益なAIモデルを実現することを目指します。
| ひとことで言うと | あらかじめ定めた原則（憲法）に沿って、AIが自分の出力を修正する手法。 |
|---|---|
| 何がうれしいか | 人手による評価の負担を減らしつつ、方針を明文化して一貫させられる。 |
| 注意点 | 原則の書き方がそのまま挙動を決める。中身の妥当性が問われる。 |
仕組みと学習プロセス
Constitutional AIは2段階のプロセスで動作します。第1段階（SL段階）では、モデルに有害な質問に回答させた後、憲法の原則に照らして自己批判を行わせ、改善された回答を生成させます。第2段階（RL段階）では、人間の代わりにAIモデルが憲法に基づいて出力を評価し、その評価データでRLHFと同様の強化学習を行います（RLAIF：AI Feedback による強化学習）。
1原則を定める守るべき方針を文章で
▶
2AIが回答を生成まず一度出力
▶
3原則に照らして自己批評問題点を自分で指摘
▶
4書き直す原則に沿った形へ
▶
5その結果で学習方針が定着する
憲法の原則
Constitutional AIの「憲法」は、有害性の回避、正直さ、有用性などに関する明文化された原則の集まりです。例えば「暴力を促進する回答を避けること」「差別的な表現を使わないこと」「不確実な場合はその旨を明示すること」などの原則が含まれます。これらの原則は透明性が高く、容易に監査・修正が可能です。
RLHFとの比較と意義
RLHFが人間の評価者の暗黙的な判断基準に依存するのに対し、Constitutional AIは明示的な原則に基づいて安全性を定義します。これにより、安全性基準の透明性と再現性が向上し、評価者の主観やバイアスの影響を軽減できます。Constitutional AIの概念は、AI安全性における重要なパラダイムとして広く認知されています。