温度缩放 Logits

🖼️ Temperature-Scaled Logits Demo

Scale logits by a temperature before softmax and watch the calibrated distribution change, a practical demo of confidence calibration.

📐 计算公式 / 原理
z′ = z/T(T>1 平滑分布,T<1 锐化分布)
对 logits 统一除以温度是最简单的概率校准手段,T 在验证集上用 NLL 搜索得到,不改变 argmax 因此不影响准确率,只改善置信度的可靠性(ECE)。它只能校正整体过度/不足自信,无法修正逐类别偏差。

📐 计算公式与说明

scaled = logit / T;T>1 更平滑,T<1 更尖锐

仅用于演示 softmax 前缩放,不改变 argmax。

📚 深度解析:温度缩放 Logits

💡 常见使用场景

校准演示
logits=[3,1,0],T=1 概率≈[0.79,0.11,0.10];T=2 → [0.59,0.23,0.18] 更不确定;模型原自信 79% 经校准可能更接近真实准确率。

❓ 常见问题(FAQ)

温度缩放能提升准确率吗?
不直接提升分类准确率(argmax 不变),只让输出置信度更'诚实'地反映正确率,对需要可靠概率的应用(如风险决策)很有价值。
T 用什么值校准?
在验证集上用负对数似然最小化搜索最优 T(通常略大于 1),使预测置信度与经验准确率对齐;是后处理、不改模型权重。