Cohen Kappa 係數 - 一致性係數

← ToolBox / Cohen Kappa 係數

📖 檢視「Cohen Kappa 係數使用指南」

🤖 Cohen's Kappa Coefficient

Compute Cohen's kappa from two annotators' labels to measure agreement beyond chance. Standard for annotation QA and diagnostic consistency.

📐 計算公式 / 原理

Po = (TP+TN)/N；Pe = [(TP+FP)(TP+FN) + (TN+FN)(TN+FP)]/N²；κ = (Po − Pe)/(1 − Pe)

Cohen's Kappa 剔除"偶然一致"後衡量兩個標註者（或模型與金標）的真實一致性：Pe 是按各自邊緣分佈隨機撞上的機率。κ>0.8 視為幾乎完全一致，0.4–0.6 中等，低於 0 說明一致性還不如隨機，標註口徑需要重新對齊。

TP

TN

FP

FN

📐 計算公式與說明

κ = (Pₒ − Pₑ)/(1 − Pₑ)

κ>0.8 幾乎完全一致，<0.2 微弱。

📚 深度解析：Cohen Kappa 係數

💡 常見使用場景

κ=(p_o−p_e)/(1−p_e)，p_o 為觀測一致率，p_e 為隨機一致率(按邊際機率算)。
κ=1 完全一致，0 為僅隨機一致，負值表示一致性差於隨機。
用於標註一致性、診斷一致性等可靠性評估，比單純準確率排除隨機巧合。

兩人標註一致性

兩類各 100 例，觀測一致 85 例 p_o=0.85；邊際機率算得隨機一致 p_e=0.50 → κ=(0.85−0.50)/(1−0.50)=0.70，屬高度一致。

❓ 常見問題（FAQ）

kappa 和準確率差在哪？: 準確率不剔除'瞎猜也能碰對'的巧合；kappa 用 p_e 扣除隨機一致，更能反映真實一致性，類別越不平衡 p_e 越高、越需 kappa。
kappa 多高算可靠？: 經驗尺：0.01~0.20 輕微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 幾乎完全；但閾值隨領域而變。