ROC カーブ (Receiver Operatorating Characteristic curve) は 2 値分類の予測モデルが出す予測確率を使って描かれる曲線です。グラフ中の黄色の実線が ROC カーブを示します。

予測モデルがランダムに予測をしている場合、ROC カーブは左下から右上への対角線 (グラフ上の破線) に重なります。ROC カーブが左上に膨らむほど良い予測モデルとなります。カーブの形状に関する詳細な理解は難しいので、まずは AUC の大小を基準にモデルの良し悪しを判断すると良いでしょう。

AUC (Area Under the Curve) は二値分類の評価指標の一つです。ROC カーブの下 (黄色の領域) の面積を指します。大きければ大きいほど良く、最良で 100%となります。予測モデルがランダムに予測をしているときは AUC の値が 50%になり、反対にモデルが非常に精度高く予測できているときは AUC の値が 100%に近づきます。

AUC は Accuracy, Recall, Precision, F 値と異なり、予測確率から予測結果を得るための閾値の影響を受けないため、二値分類の予測精度の評価値としてよく利用されます。