預熱一定要嗎？

大模型/大 batch 通常必要，能穩定初期訓練；小模型小學習率可省略。跳過預熱常出現首輪 loss 尖峰甚至 NaN。

預熱比例多大合適？

常見 0~10%，Transformer 訓練多用 1%~6%；過大則有效訓練步數被浪費，過小保護不足，以驗證曲線平滑為準。

📖 Learning Rate Warmup Steps Calculator

Compute how many steps a linear learning-rate warmup should cover, from total training steps and the warmup ratio, to keep early training stable.

📐 計算公式 / 原理

預熱步數 = 總步數 × 比例；預熱末 LR = 峰值 LR

訓練最初若干步把學習率從 0 線性升到峰值，給 Adam 的二階動量估計留出穩定時間，避免大 batch 訓練初期因梯度方差大而發散。典型配置是總步數的 1%–5%，之後接 cosine 或線性衰減。

總步數

預熱比例

峰值 LR

預熱區間

總步數 10000、預熱比例 5% → 預熱步數=500，前 500 步 lr 從 0 線性增至峰值(如 1e-3)，之後進入衰減。無預熱時首步即 1e-3 易震盪。