Cohen Kappa 系数

← ToolBox / Cohen Kappa 系数

📖 查看「Cohen Kappa 系数使用指南」

🤖 Cohen's Kappa Coefficient

Compute Cohen's kappa from two annotators' labels to measure agreement beyond chance. Standard for annotation QA and diagnostic consistency.

📐 计算公式 / 原理

Po = (TP+TN)/N；Pe = [(TP+FP)(TP+FN) + (TN+FN)(TN+FP)]/N²；κ = (Po − Pe)/(1 − Pe)

Cohen's Kappa 剔除"偶然一致"后衡量两个标注者（或模型与金标）的真实一致性：Pe 是按各自边缘分布随机撞上的概率。κ>0.8 视为几乎完全一致，0.4–0.6 中等，低于 0 说明一致性还不如随机，标注口径需要重新对齐。

TP

TN

FP

FN

📐 计算公式与说明

κ = (Pₒ − Pₑ)/(1 − Pₑ)

κ>0.8 几乎完全一致，<0.2 微弱。

📚 深度解析：Cohen Kappa 系数

💡 常见使用场景

κ=(p_o−p_e)/(1−p_e)，p_o 为观测一致率，p_e 为随机一致率(按边际概率算)。
κ=1 完全一致，0 为仅随机一致，负值表示一致性差于随机。
用于标注一致性、诊断一致性等可靠性评估，比单纯准确率排除随机巧合。

两人标注一致性

两类各 100 例，观测一致 85 例 p_o=0.85；边际概率算得随机一致 p_e=0.50 → κ=(0.85−0.50)/(1−0.50)=0.70，属高度一致。

❓ 常见问题（FAQ）

kappa 和准确率差在哪？: 准确率不剔除'瞎猜也能碰对'的巧合；kappa 用 p_e 扣除随机一致，更能反映真实一致性，类别越不平衡 p_e 越高、越需 kappa。
kappa 多高算可靠？: 经验尺：0.01~0.20 轻微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 几乎完全；但阈值随领域而变。