学习率衰减

← ToolBox / 学习率衰减

📉 学习率衰减

计算 Step/Exponential/Cosine 学习率衰减。

📐 计算公式与说明

Step: lr = lr₀/(1+decay·epoch)
Exp: lr = lr₀·e^(−decay·epoch)
Cos: lr = lr₀·0.5(1+cos(π·epoch/T))

实际 T 为总 epoch。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出