温度缩放 Softmax

← ToolBox / 温度缩放 Softmax

🌡️ 温度缩放 Softmax

观察温度参数对 Softmax 分布尖锐程度的影响。

📐 计算公式与说明

Pᵢ = e^(zᵢ/T) / Σe^(zⱼ/T)
T→0 更尖锐，T→∞ 更均匀

知识蒸馏中常用温度缩放。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出