kappa 和准确率差在哪？

准确率不剔除'瞎猜也能碰对'的巧合；kappa 用 p_e 扣除随机一致，更能反映真实一致性，类别越不平衡 p_e 越高、越需 kappa。

kappa 多高算可靠？

经验尺：0.01~0.20 轻微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 几乎完全；但阈值随领域而变。

Cohen Kappa 系数 - 一致性系数

← ToolBox / Cohen Kappa 系数

🤖 Cohen's Kappa Coefficient

Compute Cohen's kappa from two annotators' labels to measure agreement beyond chance. Standard for annotation QA and diagnostic consistency.

📐 计算公式 / 原理

Po = (TP+TN)/N；Pe = [(TP+FP)(TP+FN) + (TN+FN)(TN+FP)]/N²；κ = (Po − Pe)/(1 − Pe)

Cohen's Kappa 剔除"偶然一致"后衡量两个标注者（或模型与金标）的真实一致性：Pe 是按各自边缘分布随机撞上的概率。κ>0.8 视为几乎完全一致，0.4–0.6 中等，低于 0 说明一致性还不如随机，标注口径需要重新对齐。

📐 计算公式与说明

一致性判读口径（与 Po/Pe/κ 计算式互补）：Landis-Koch 分级——κ<0 差（还不如随机一致）、<0.2 轻微、<0.4 一般、<0.6 中等、<0.8 较强、≥0.8 极强；κ 剔除偶然一致 Pe 后才反映真实一致性强度。校验：四格计数空值按 0 兜底，结果非有限（分母为 0）时追加「部分结果无定义」警示。判据：κ 偏低应优先核对标注口径与类别定义，而非直接否定标注者；κ 随类别数增多通常下降。

κ>0.8 几乎完全一致，<0.2 微弱。

📚 深度解析：Cohen Kappa 系数

💡 常见使用场景

κ=(p_o−p_e)/(1−p_e)，p_o 为观测一致率，p_e 为随机一致率(按边际概率算)。
κ=1 完全一致，0 为仅随机一致，负值表示一致性差于随机。
用于标注一致性、诊断一致性等可靠性评估，比单纯准确率排除随机巧合。

两人标注一致性

两类各 100 例，观测一致 85 例 p_o=0.85；边际概率算得随机一致 p_e=0.50 → κ=(0.85−0.50)/(1−0.50)=0.70，属高度一致。

❓ 常见问题（FAQ）

kappa 和准确率差在哪？: 准确率不剔除'瞎猜也能碰对'的巧合；kappa 用 p_e 扣除随机一致，更能反映真实一致性，类别越不平衡 p_e 越高、越需 kappa。
kappa 多高算可靠？: 经验尺：0.01~0.20 轻微、0.21~0.40 一般、0.41~0.60 中等、0.61~0.80 高度、0.81~1.00 几乎完全；但阈值随领域而变。

Formula & Standard References

Item	Formula / Note	Source / Standard
Definition	kappa = (observed agreement - chance agreement) / (1 - chance agreement)	Cohen 1960
Interpretation	values from 0.61 to 0.80 count as substantial agreement	Landis and Koch 1977
Versus accuracy	kappa removes chance agreement and suits imbalanced labels	Cohen 1960

Cohen Kappa 系数