溫度縮放 Softmax 使用指南

溫度縮放 Softmax 觀察器，輸入 logits 與溫度引數觀察分佈尖銳程度變化，理解溫度對機率平滑度的影響。

計算公式與原理

Pᵢ(T) = e^{zᵢ/T} / Σⱼ e^{zⱼ/T}；分佈熵 H = −Σ Pᵢ ln Pᵢ

溫度 T 控制分佈銳度：T→0 趨近 one-hot（更確定），T→∞ 趨近均勻分佈。訓練時用高溫做知識蒸餾可暴露類別間關係；但溫度縮放只改變銳度不改變排序，不能修復模型本身的排序錯誤。

使用步驟

1. 填寫「Logit 1」。
2. 填寫「Logit 2」。
3. 填寫「Logit 3」。
4. 填寫「溫度 T」。
5. 結果區會即時更新；可一鍵複製結果用於記錄或彙報。

典型使用場景

• 溫度縮放 y_i=exp(z_i/T)/Σexp(z_j/T)，T>1 使分佈更平滑(更不確定)，T<1 更尖銳。
• T→∞ 趨近均勻分佈，T→0 趨近 one-hot(argmax)。
• 溫度常用於調節生成多樣性與模型校準，不改變 argmax 類別。

算例參考

• 溫度影響分佈：logits=[2,1,0.5]，T=1 → 機率≈[0.56,0.21,0.23]；T=2 → [0.46,0.30,0.24] 更平滑；T=0.5 → [0.76,0.17,0.07] 更尖銳。argmax 始終為第 1 類。

注意事項

結果為按上述公式得到的理論估算值，實際表現受資料分佈、實現細節與執行環境影響，落地決策請以實測為準；本工具純前端執行，輸入不上傳伺服器。

溫度能校準模型嗎？

溫度縮放是最簡單的後校準方法，調 T 使輸出置信度匹配實際準確率；但它只縮放分佈、不能修正錯誤預測的方向。

生成時溫度設多高？

創意寫作用較高 T(0.7~1.0)增多樣性，事實問答用低 T(0~0.3)增確定性；過高會胡言亂語，過低則重複僵化。