预热一定要吗？

大模型/大 batch 通常必要，能稳定初期训练；小模型小学习率可省略。跳过预热常出现首轮 loss 尖峰甚至 NaN。

预热比例多大合适？

常见 0~10%，Transformer 训练多用 1%~6%；过大则有效训练步数被浪费，过小保护不足，以验证曲线平滑为准。

📖 Learning Rate Warmup Steps Calculator

Compute how many steps a linear learning-rate warmup should cover, from total training steps and the warmup ratio, to keep early training stable.

📐 计算公式 / 原理

预热步数 = 总步数 × 比例；预热末 LR = 峰值 LR

训练最初若干步把学习率从 0 线性升到峰值，给 Adam 的二阶动量估计留出稳定时间，避免大 batch 训练初期因梯度方差大而发散。典型配置是总步数的 1%–5%，之后接 cosine 或线性衰减。

总步数

预热比例

峰值 LR

预热区间

总步数 10000、预热比例 5% → 预热步数=500，前 500 步 lr 从 0 线性增至峰值(如 1e-3)，之后进入衰减。无预热时首步即 1e-3 易震荡。