PR-AUC

Precision-Recall AUC

PR-AUCとは

PR-AUC(Precision-Recall AUC)とは、適合率(Precision)と再現率(Recall)の関係を描いたPR曲線の下の面積を表す評価指標です。特にクラス不均衡データにおいて、ROC-AUCよりもモデルの性能をより正確に反映する指標として重要視されています。

PR曲線の仕組み

PR曲線は、分類閾値を変化させたときの適合率と再現率の関係をプロットしたものです。横軸に再現率、縦軸に適合率をとります。理想的なモデルは右上隅(再現率=1, 適合率=1)に近い曲線を描き、PR-AUCが1に近づきます。

ROC-AUCとの違い

ROC-AUCが真陰性(TN)を考慮するのに対し、PR-AUCは真陰性を含まず陽性クラスの予測精度に焦点を当てます。不均衡データ(例:不正検知、希少疾患の診断)では、大量の真陰性がROC-AUCを過大評価する傾向がありますが、PR-AUCはこの影響を受けにくいという利点があります。

PR-AUCの活用場面

PR-AUCは、不正取引検出、異常検知、希少疾患スクリーニングなど、陽性クラスが少数派のタスクで特に有効です。情報検索においても、大量の無関係文書の中から関連文書を見つけるタスクの評価に適しています。モデルの改善方向を検討する際に、PR曲線の形状を分析することも重要です。