アルゴリズム監査

Algorithm Audit

アルゴリズム監査とは

アルゴリズム監査(Algorithm Audit)とは、アルゴリズムやAIシステムの動作を外部から検証し、バイアス・差別・不透明性・安全性などの問題を特定・評価する活動です。AI監査の中でも特にアルゴリズムの振る舞いに焦点を当てた専門的な監査手法です。

表:アルゴリズム監査の要点まとめ
ひとことで言うとアルゴリズムが差別的・不適切な結果を生んでいないか検証すること。
どこで使う採用選考、与信審査、価格設定、広告配信など人に影響する判断。
注意点モデル内部が見えなくても、入出力の分析で偏りは検出できる。

アルゴリズム監査の方法

アルゴリズム監査にはいくつかの方法があります。コード監査はアルゴリズムのソースコードを直接検査する手法で、最も詳細な分析が可能ですがコードへのアクセスが必要です。ブラックボックス監査は、外部からさまざまな入力を与えて出力を分析する手法で、コードにアクセスできない場合にも実施可能です。ノスコーピング監査は、制御された実験環境で差異を検証する手法です。

図:アルゴリズム監査の手法
1入出力を収集実際の判定結果
▶
2属性別に集計性別・年齢・地域など
▶
3差を検証統計的に有意な差か
▶
4原因を分析どの特徴が効いたか
▶
5是正するデータや設計を修正

アルゴリズム監査の事例

ジェンダーシェイズプロジェクトでは、商用顔認識システムの性能が人種と性別によって大きく異なることが明らかになりました。採用AIプラットフォームの監査では、求人広告の配信アルゴリズムが性別に基づく偏りを持つことが発見されています。クレジットスコアリングの監査では、保護属性との相関が検出された例もあります。

アルゴリズム監査の制度化

ニューヨーク市では2023年から、採用選考に使用されるAIツールにバイアス監査を義務付ける法律(Local Law 144)が施行されています。EUのAI規制法でも高リスクAIに対する適合性評価が義務化されています。アルゴリズム監査の制度化は世界的な潮流であり、専門的な監査機関やフレームワークの整備が進んでいます。