学习率衰减

📖 Learning Rate Decay Calculator

Compute the current learning rate under exponential or step decay schedules, for scheduler tuning and training-curve diagnosis.

📐 计算公式 / 原理

学习率指数衰减（本页代码口径）：当前 LR=初始学习率 LR₀×γ^epoch（γ 为逐轮衰减系数），结果保留 6 位小数。校验：无强校验，空值按 0 兜底。判据：无固定分级，γ 越小衰减越快，γ=1 时学习率恒定、γ>1 时反而逐轮放大，页面如实显示。

指数衰减让学习率随轮数几何级下降，早期大步探索、后期小步精修，有利于跳出尖锐极小值。γ 常取 0.9–0.99 或按验证指标下降时再降（ReduceOnPlateau）；搭配 warmup 可避免训练初期大学习率导致发散。

初始 LR

衰减率

轮数

判读与外推（与上方公式互补，共用同一组输入）：0<γ<1 时 LR 沿 LR₀×γ^epoch 指数曲线逐轮单调下降并趋于 0；再训 5 轮后的 LR 按 LR₀×γ^(epoch+5) 外推展示；γ 常取 0.9–0.99 实现慢衰减。校验：与上方一致，空值按 0 兜底。判据：无固定分级。

指数衰减常用于后期精调。

📚 深度解析：学习率衰减

💡 常见使用场景

指数衰减 lr=lr₀·γ^t；阶梯衰减每 N 步乘一次因子；余弦退火平滑降至近 0。

衰减让训练初期大步探索、后期细调，提升收敛质量与稳定性。

衰减策略需与总步数匹配，过早或过猛会陷入局部或过慢。

指数衰减

lr₀=0.1, γ=0.95, 第 20 步 → lr=0.1×0.95²⁰≈0.0359。每步小幅下降，20 步后约为初始的 36%。

❓ 常见问题（FAQ）

余弦退火为什么流行？

它在训练中后段平滑降到很低，利于精细收敛且对超参不敏感，常配合预热使用；相比阶梯衰减更平滑、易复现好结果。

学习率衰减和预热能同时用吗？

能且常见：先线性预热到峰值再余弦衰减(warmup+cosine)，兼顾初期稳定与后期收敛，是大模型训练标配。

Item	Formula / Note	Source / Standard
Exponential decay	the learning rate is multiplied by a fixed factor each epoch or step	PyTorch lr_scheduler docs
Cosine annealing	the learning rate follows a cosine curve from the initial value down to a floor	Loshchilov & Hutter 2017, SGDR
Effect	shrinking the step size helps the optimiser settle into a lower loss	Robbins & Monro 1951, Ann. Math. Stat.

Item

Formula / Note

Source / Standard

Exponential decay

the learning rate is multiplied by a fixed factor each epoch or step

PyTorch lr_scheduler docs

Cosine annealing

the learning rate follows a cosine curve from the initial value down to a floor

Loshchilov & Hutter 2017, SGDR

Effect

shrinking the step size helps the optimiser settle into a lower loss

Robbins & Monro 1951, Ann. Math. Stat.