温度缩放 Logits

🖼️ Temperature-Scaled Logits Demo

Scale logits by a temperature before softmax and watch the calibrated distribution change, a practical demo of confidence calibration.

📐 计算公式 / 原理
z′ = z/T(T>1 平滑分布,T<1 锐化分布)
对 logits 统一除以温度是最简单的概率校准手段,T 在验证集上用 NLL 搜索得到,不改变 argmax 因此不影响准确率,只改善置信度的可靠性(ECE)。它只能校正整体过度/不足自信,无法修正逐类别偏差。

📐 计算公式与说明

scaled = logit / T;T>1 更平滑,T<1 更尖锐

仅用于演示 softmax 前缩放,不改变 argmax。

📚 深度解析:温度缩放 Logits

💡 常见使用场景

校准演示
logits=[3,1,0],T=1 → 概率≈[0.8438,0.1142,0.0420];T=2 → [0.6285,0.2312,0.1402],最高概率由 84.38% 降到 62.85%,更接近真实准确率即达到校准目的;T=0.5 → [0.9796,0.0179,0.0024] 过度自信。注意缩放只改数值大小,argmax 仍是第 1 类。

❓ 常见问题(FAQ)

温度缩放能提升准确率吗?
不直接提升分类准确率(argmax 不变),只让输出置信度更'诚实'地反映正确率,对需要可靠概率的应用(如风险决策)很有价值。
T 用什么值校准?
在验证集上用负对数似然最小化搜索最优 T(通常略大于 1),使预测置信度与经验准确率对齐;是后处理、不改模型权重。