安全性評価とは
安全性評価（Safety Evaluation）とは、AIシステムが人間やの社会に対して安全に動作するかを体系的に検証・測定するプロセスです。AIの開発ライフサイクルのあらゆる段階で実施され、潜在的なリスクの特定、既存の安全対策の有効性検証、改善すべき領域の明確化を目的とします。
| ひとことで言うと | AIが人や社会に危害を与えないかを、体系的に検証すること。 |
|---|---|
| 何を測るか | 有害な出力の割合、攻撃への耐性、偏り、誤りの影響度。 |
| 注意点 | 評価は一度きりでなく、モデル更新のたびに実施する。 |
評価の方法論
安全性評価には複数のアプローチがあります。自動評価はベンチマークデータセットを用いてモデルの安全性を定量的に測定します。人間評価は専門家やクラウドワーカーがモデルの出力を安全性の観点から主観的に評価します。レッドチーミングは攻撃者の視点でシステムの脆弱性を探索します。これらを組み合わせた総合的な評価が推奨されます。
1評価項目を決める何を安全とするか
▶
2テストセットを用意危険な入力の例
▶
3自動評価大量に試して集計
▶
4人手で確認微妙な事例を判断
▶
5基準と照合公開可否を判断
評価項目
LLMの安全性評価では、有害コンテンツの生成率、ハルシネーションの頻度、バイアスの程度、プロンプトインジェクションへの耐性、個人情報の漏洩リスク、ジェイルブレイク耐性などが主な評価項目です。画像生成AIでは、NSFW（Not Safe For Work）コンテンツの生成、著作権侵害、ステレオタイプの再生産なども評価されます。
国際的な取り組み
各国の政府機関や標準化団体が安全性評価の基準策定に取り組んでいます。英国AI安全性研究所（AISI）は主要なAIモデルの安全性評価を実施し、NISTはAI Risk Management Frameworkを策定しています。また、MLCommonsのAI Safetyベンチマークや、各社独自の安全性評価スイートの整備も進んでいます。