温度缩放 Logits 使用指南
温度缩放 Logits 演示器,在 softmax 前对 logits 做温度缩放,演示校准对概率分布形态的影响(不改变 argmax)。
计算公式与原理
z′ = z/T(T>1 平滑分布,T<1 锐化分布)
对 logits 统一除以温度是最简单的概率校准手段,T 在验证集上用 NLL 搜索得到,不改变 argmax 因此不影响准确率,只改善置信度的可靠性(ECE)。它只能校正整体过度/不足自信,无法修正逐类别偏差。
使用步骤
- 填写「logit 值」。
- 填写「温度」。
- 填写「对比 logit」。
- 结果区会即时更新;可一键复制结果用于记录或汇报。
典型使用场景
- 在 softmax 前对 logits 做 z/T,演示温度对概率形态的影响,不改变 argmax。
- T>1 平滑分布(置信度降低),T<1 锐化(更自信),是模型校准常用手段。
- 与生成温度同源:同一机制既可用于校准也可调生成多样性。
算例参考
- 校准演示:logits=[3,1,0],T=1 概率≈[0.79,0.11,0.10];T=2 → [0.59,0.23,0.18] 更不确定;模型原自信 79% 经校准可能更接近真实准确率。
注意事项
结果为按上述公式得到的理论估算值,实际表现受数据分布、实现细节与运行环境影响,落地决策请以实测为准;本工具纯前端运行,输入不上传服务器。
- 温度缩放能提升准确率吗?
- 不直接提升分类准确率(argmax 不变),只让输出置信度更'诚实'地反映正确率,对需要可靠概率的应用(如风险决策)很有价值。
- T 用什么值校准?
- 在验证集上用负对数似然最小化搜索最优 T(通常略大于 1),使预测置信度与经验准确率对齐;是后处理、不改模型权重。