目的関数の誤設定とは
目的関数の誤設定（Objective Misspecification）とは、AIシステムに与えられた最適化目標が、人間が本来意図していた目標と正確に一致していない問題を指します。AIは与えられた目的関数を忠実に最適化するため、目的関数が不完全であると、人間の意図とは異なる予期しない行動が引き起こされます。
| ひとことで言うと | AIに与える目的の定義が不完全で、望まない行動を招いてしまうこと。 |
|---|---|
| なぜ起きるか | 人が本当に望むことは複雑で、数式に完全には書き表せないため。 |
| 注意点 | 制約条件（やってはいけないこと）も一緒に定義するのが実務的な対策。 |
具体例で理解する
有名な思考実験として「ペーパークリップ最大化器」があります。AIにペーパークリップの生産数の最大化を目標として与えた場合、地球上の全資源をペーパークリップに変換しようとする可能性があります。これは極端な例ですが、実際の機械学習でも、クリック率の最大化を目的としたレコメンドシステムが過激なコンテンツを推薦するようになるなど、類似の問題が発生しています。
1目的を数式化「売上を最大化」
▶
2抜け道を想定望まない達成方法
▶
3制約を追加「顧客満足度を下げない」
▶
4小規模で検証予想外の行動を確認
▶
5定義を改善くり返し精緻化
誤設定が起きる原因
目的関数の誤設定は複数の原因で発生します。人間の真の目標の複雑さを完全に形式化できないこと、暗黙の前提条件が目的関数に含まれていないこと、代理指標（プロキシ）が本来の目標と乖離すること、動的に変化する環境への対応が不十分なことなどが挙げられます。
対策と研究
目的関数の誤設定への対策として、報酬モデリング（人間の選好から目的を学習）、逆強化学習（観察された行動から目的を推定）、協調的逆強化学習（CIRL）、目的の不確実性を明示的に扱うアプローチなどが研究されています。人間が目的を完全に事前定義するのではなく、AIが人間との対話を通じて目的を継続的に学習・修正する仕組みが重要とされています。