AUC 秩次估算 使用指南
AUC 秩次估算器,用 Mann-Whitney U 法由樣本秩和估算 ROC 曲線下面積,評估二分類模型排序能力。
計算公式與原理
U = ΣRank(正例) − nPos(nPos+1)/2;AUC = U/(nPos × nNeg)
Mann-Whitney U 統計視角:AUC 等於"隨機抽一個正例與一個負例,正例得分更高的機率"。把所有樣本按得分升序排名,用正例秩和減去最小可能秩和即得 U,再除以正負配對總數 nPos×nNeg,結果 0.5 表示無區分能力。
使用步驟
- 填寫「正樣本數」。
- 填寫「負樣本數」。
- 填寫「正樣本秩和」。
- 結果區會即時更新;可一鍵複製結果用於記錄或彙報。
典型使用場景
- AUC 等價於隨機抽一正一負樣本、正樣本得分更高的機率,可用 Mann-Whitney U 由秩和估算。
- 公式 AUC=1−U₁/(n₁·n₂),U₁=R₁−n₁(n₁+1)/2,R₁ 為正類秩和。
- AUC=0.5 為隨機,1 為完美排序;對類別不平衡與閾值無關,適合排序質量評估。
算例參考
- 秩和算 AUC:正類 3 個得分排序後的秩和 R₁=2+4+5=11,n₁=3,n₂=3。U₁=11−3×4/2=5,AUC=1−5/(3×3)=1−0.556=0.444。說明正負排序接近隨機偏弱。
注意事項
結果為按上述公式得到的理論估算值,實際表現受資料分佈、實現細節與執行環境影響,落地決策請以實測為準;本工具純前端執行,輸入不上傳伺服器。
- AUC 和準確率有什麼關係?
- 無直接等價。準確率是固定閾值下的分類正確率,AUC 是遍歷所有閾值的整體排序質量,AUC 高不代表某閾值下準確率也高。
- 樣本量大時秩和法還準嗎?
- 準。Mann-Whitney 是 AUC 的無偏估計,樣本越多越穩;只是實現上可用更高效的計數法避免顯式排序開銷。