公平性指標とは
公平性指標（Fairness Metrics）とは、AIシステムが異なるグループに対してどの程度公平に機能しているかを定量的に測定するための指標の総称です。バイアスの存在や程度を客観的に評価し、改善の効果を検証するために使用されます。
| ひとことで言うと | AIの判定が属性間で偏っていないかを、数値で測るための物差し。 |
|---|---|
| 代表例 | 統計的パリティ（合格率をそろえる）、機会均等（見逃し率をそろえる）。 |
| 注意点 | 指標同士が両立しないことがある。どれを重視するかを先に決める。 |
主要な公平性指標
公平性指標には多くの種類があります。統計的パリティ（Demographic Parity）は各グループの肯定的予測率が等しいことを要求します。機会均等（Equalized Odds）は各グループの真陽性率と偽陽性率が等しいことを要求します。予測パリティ（Predictive Parity）は各グループの陽性的中率が等しいことを要求します。個人の公平性は類似した個人が類似した予測を受けることを要求します。
1属性で分けるグループA・グループB
▶
2指標を計算合格率や再現率
▶
3差を比較どれだけ開きがあるか
▶
4許容範囲を決める業務上の基準
▶
5超えたら是正モデルや基準を調整
公平性指標の不可能性定理
重要な数学的結果として、複数の公平性指標を同時に満たすことが一般に不可能であるという「不可能性定理」が存在します。例えば、統計的パリティと予測パリティを同時に満たすことは、グループ間で基準率が異なる場合には不可能です。したがって、どの公平性指標を優先するかは、応用文脈や社会的価値判断に基づいて決定する必要があります。
公平性指標の実践的活用
実践では、単一の指標に頼るのではなく、複数の指標を組み合わせて多角的に評価することが推奨されます。また、公平性指標の選択・閾値の設定・トレードオフの許容範囲について、ステークホルダーとの合意形成を行うことが重要です。IBM AI Fairness 360やGoogle What-If Toolなどのオープンソースツールが指標の計算と可視化を支援しています。