AUC 高但線上效果差？

AUC 只反映排序能力，不保證某業務閾值下的準確率/召回；且訓練/驗證分佈若與線上偏移，AUC 高也可能落地差。

樣本極不平衡 AUC 還準嗎？

AUC 本身對不平衡穩健(基於排序)，但正類極少時估計方差大、且業務更關心正類召回，應輔以 PR-AUC。

← ToolBox / ROC AUC 近似

Estimate the area under the ROC curve from positive and negative prediction scores, to compare the ranking ability of classifiers.

📐 計算公式 / 原理

AUC ≈ 0.5 + 0.5·erf[(μ₊ − μ₋)/√(2(σ₊² + σ₋²))]；分離度 d' = (μ₊ − μ₋)/√[(σ₊² + σ₋²)/2]

在正負樣本得分各自近似正態的假設下，AUC 可由兩分佈的均值差與方差直接算出，無需逐對比較，適合只有彙總統計量的快速估算。若真實分佈長尾或嚴重偏態，該近似會偏離實測 AUC，此時應改用秩次法。

正例平均得分

負例平均得分

正例標準差

負例標準差

AUC ≈ Φ((μ₊ − μ₋) / √(σ₊² + σ₋²))

基於正態分佈假設的近似。

AUC 解讀

某模型 AUC=0.85：隨機抽取一正一負樣本，正樣本得分更高機率 85%。相比準確率需固定閾值，AUC 給出整體排序質量。

AUC 為 ROC 曲線下面積，等價於隨機正樣本得分高於隨機負樣本的機率。