餘弦退火為什麼流行？

它在訓練中後段平滑降到很低，利於精細收斂且對超參不敏感，常配合預熱使用；相比階梯衰減更平滑、易復現好結果。

學習率衰減和預熱能同時用嗎？

能且常見：先線性預熱到峰值再餘弦衰減(warmup+cosine)，兼顧初期穩定與後期收斂，是大模型訓練標配。

📖 Learning Rate Decay Calculator

Compute the current learning rate under exponential or step decay schedules, for scheduler tuning and training-curve diagnosis.

📐 計算公式 / 原理

lr(epoch) = lr₀ × γ^epoch（指數衰減，γ<1）

指數衰減讓學習率隨輪數幾何級下降，早期大步探索、後期小步精修，有利於跳出尖銳極小值。γ 常取 0.9–0.99 或按驗證指標下降時再降（ReduceOnPlateau）；搭配 warmup 可避免訓練初期大學習率導致發散。

初始 LR

衰減率

輪數

指數衰減

lr₀=0.1, γ=0.95, 第 20 步 → lr=0.1×0.95²⁰≈0.0359。每步小幅下降，20 步後約為初始的 36%。