ROC-AUCとは
ROC-AUC（Receiver Operating Characteristic - Area Under Curve）とは、二値分類モデルの性能を評価する指標で、ROC曲線の下の面積を表します。閾値に依存せずモデルの識別能力を総合的に評価でき、0から1の範囲の値を取り、1に近いほど優れたモデルであることを示します。
| ひとことで言うと | しきい値を動かしたときの総合的な識別力を、0〜1の数値で表す指標。 |
|---|---|
| 読み方 | 0.5＝当てずっぽう、0.7〜0.8＝まずまず、0.9以上＝優秀。 |
| 注意点 | 不均衡データでは高く出やすい。PR-AUCも併せて確認する。 |
ROC曲線の仕組み
ROC曲線は、分類閾値を変化させたときの真陽性率（TPR、再現率）と偽陽性率（FPR）の関係をプロットしたものです。横軸にFPR、縦軸にTPRをとり、閾値を0から1まで変化させて得られる点をつなぎます。完全なモデルは左上隅の点（FPR=0, TPR=1）を通り、ランダム予測は対角線上に位置します。
1しきい値を動かす0から1まで少しずつ
▶
2検出率と誤検知率各点で2つ計算
▶
3曲線を描く左上に近いほど良い
▶
4面積を計算それがAUC
AUCの解釈
AUCは「ランダムに選んだ陽性サンプルが陰性サンプルよりも高いスコアを持つ確率」として解釈できます。AUC=0.5はランダム予測と同等、AUC=1.0は完全な分類を意味します。一般的にAUC > 0.9で優れた性能、0.7-0.9で良好、0.5-0.7で不十分とされます。
ROC-AUCの注意点
ROC-AUCはクラス不均衡データでは過度に楽観的な評価を与える場合があります。陰性サンプルが圧倒的に多い場合、FPRの変化が小さく見えるためです。このような場合はPR-AUC（Precision-Recall AUC）の方が適切な指標となることがあります。