AUC 高但线上效果差？

AUC 只反映排序能力，不保证某业务阈值下的准确率/召回；且训练/验证分布若与线上偏移，AUC 高也可能落地差。

样本极不平衡 AUC 还准吗？

AUC 本身对不平衡稳健(基于排序)，但正类极少时估计方差大、且业务更关心正类召回，应辅以 PR-AUC。

← ToolBox / ROC AUC 近似

Estimate the area under the ROC curve from positive and negative prediction scores, to compare the ranking ability of classifiers.

📐 计算公式 / 原理

AUC ≈ 0.5 + 0.5·erf[(μ₊ − μ₋)/√(2(σ₊² + σ₋²))]；分离度 d' = (μ₊ − μ₋)/√[(σ₊² + σ₋²)/2]

在正负样本得分各自近似正态的假设下，AUC 可由两分布的均值差与方差直接算出，无需逐对比较，适合只有汇总统计量的快速估算。若真实分布长尾或严重偏态，该近似会偏离实测 AUC，此时应改用秩次法。

正例平均得分

负例平均得分

正例标准差

负例标准差

AUC ≈ Φ((μ₊ − μ₋) / √(σ₊² + σ₋²))

基于正态分布假设的近似。

AUC 解读

某模型 AUC=0.85：随机抽取一正一负样本，正样本得分更高概率 85%。相比准确率需固定阈值，AUC 给出整体排序质量。

AUC 为 ROC 曲线下面积，等价于随机正样本得分高于随机负样本的概率。