Cohen Kappa 係數 使用指南

Cohen Kappa 係數計算器，輸入兩位評價者的分類結果求一致性係數，用於標註一致性、診斷一致性等可靠性評估。

計算公式與原理

Po = (TP+TN)/N；Pe = [(TP+FP)(TP+FN) + (TN+FN)(TN+FP)]/N²；κ = (Po − Pe)/(1 − Pe)

Cohen's Kappa 剔除"偶然一致"後衡量兩個標註者（或模型與金標）的真實一致性：Pe 是按各自邊緣分佈隨機撞上的機率。κ>0.8 視為幾乎完全一致，0.4–0.6 中等，低於 0 說明一致性還不如隨機，標註口徑需要重新對齊。

使用步驟

1. 填寫「TP」。
2. 填寫「TN」。
3. 填寫「FP」。
4. 填寫「FN」。
5. 結果區會即時更新；可一鍵複製結果用於記錄或彙報。

典型使用場景

• κ=(p_o−p_e)/(1−p_e)，p_o 為觀測一致率，p_e 為隨機一致率(按邊際機率算)。
• κ=1 完全一致，0 為僅隨機一致，負值表示一致性差於隨機。
• 用於標註一致性、診斷一致性等可靠性評估，比單純準確率排除隨機巧合。

算例參考

• 兩人標註一致性：兩類各 100 例，觀測一致 85 例 p_o=0.85；邊際機率算得隨機一致 p_e=0.50 → κ=(0.85−0.50)/(1−0.50)=0.70，屬高度一致。

注意事項

結果為按上述公式得到的理論估算值，實際表現受資料分佈、實現細節與執行環境影響，落地決策請以實測為準；本工具純前端執行，輸入不上傳伺服器。

kappa 和準確率差在哪？

準確率不剔除'瞎猜也能碰對'的巧合；kappa 用 p_e 扣除隨機一致，更能反映真實一致性，類別越不平衡 p_e 越高、越需 kappa。

kappa 多高算可靠？

經驗尺：0.01~0.20 輕微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 幾乎完全；但閾值隨領域而變。