Cohen Kappa 系数 使用指南

Cohen Kappa 系数计算器，输入两位评价者的分类结果求一致性系数，用于标注一致性、诊断一致性等可靠性评估。

计算公式与原理

Po = (TP+TN)/N；Pe = [(TP+FP)(TP+FN) + (TN+FN)(TN+FP)]/N²；κ = (Po − Pe)/(1 − Pe)

Cohen's Kappa 剔除"偶然一致"后衡量两个标注者（或模型与金标）的真实一致性：Pe 是按各自边缘分布随机撞上的概率。κ>0.8 视为几乎完全一致，0.4–0.6 中等，低于 0 说明一致性还不如随机，标注口径需要重新对齐。

使用步骤

1. 填写「TP」。
2. 填写「TN」。
3. 填写「FP」。
4. 填写「FN」。
5. 结果区会即时更新；可一键复制结果用于记录或汇报。

典型使用场景

• κ=(p_o−p_e)/(1−p_e)，p_o 为观测一致率，p_e 为随机一致率(按边际概率算)。
• κ=1 完全一致，0 为仅随机一致，负值表示一致性差于随机。
• 用于标注一致性、诊断一致性等可靠性评估，比单纯准确率排除随机巧合。

算例参考

• 两人标注一致性：两类各 100 例，观测一致 85 例 p_o=0.85；边际概率算得随机一致 p_e=0.50 → κ=(0.85−0.50)/(1−0.50)=0.70，属高度一致。

注意事项

结果为按上述公式得到的理论估算值，实际表现受数据分布、实现细节与运行环境影响，落地决策请以实测为准；本工具纯前端运行，输入不上传服务器。

kappa 和准确率差在哪？

准确率不剔除'瞎猜也能碰对'的巧合；kappa 用 p_e 扣除随机一致，更能反映真实一致性，类别越不平衡 p_e 越高、越需 kappa。

kappa 多高算可靠？

经验尺：0.01~0.20 轻微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 几乎完全；但阈值随领域而变。