視訊記憶體不夠 batch 又想快怎麼辦？

用梯度累積模擬大 batch(不增視訊記憶體)，或降低精度(混合精度)提速；也可最佳化資料管道減少 IO 等待，避免 GPU 空轉。

實測比估算慢很多？

多半是資料載入瓶頸或通訊開銷。檢查 DataLoader 預取、SSD/快取、NCCL 拓撲；純計算外的等待會顯著拉長單輪。

⏱️ Epoch Training Time Estimator

Estimate the time for one epoch and for the whole run from per-step cost and step count. Useful for scheduling and compute budgeting.

📐 計算公式 / 原理

總步數 = ⌈輪數 × 樣本數 / 批次⌉；訓練時長(小時) = 輪數 × 樣本數 / 批次 / 速度 / 3600

把步數除以單卡吞吐（樣本/秒）再換算成小時，用於排期與算力預算評估。速度為經驗值，實際受資料載入、混合精度、通訊開銷影響，多卡時還要乘上並行效率（通常 0.7–0.9）。

輪數

資料集規模

批次

吞吐樣本/s

訓練排期

每步 50ms、步數 313、輪數 10 → 單輪≈15.65s，總訓練≈156s 不含驗證。若資料並行 4 卡步數減半則單輪≈7.8s。

視訊記憶體不夠 batch 又想快怎麼辦？: 用梯度累積模擬大 batch(不增視訊記憶體)，或降低精度(混合精度)提速；也可最佳化資料管道減少 IO 等待，避免 GPU 空轉。
實測比估算慢很多？: 多半是資料載入瓶頸或通訊開銷。檢查 DataLoader 預取、SSD/快取、NCCL 拓撲；純計算外的等待會顯著拉長單輪。