显存不够 batch 又想快怎么办？

用梯度累积模拟大 batch(不增显存)，或降低精度(混合精度)提速；也可优化数据管道减少 IO 等待，避免 GPU 空转。

实测比估算慢很多？

多半是数据加载瓶颈或通信开销。检查 DataLoader 预取、SSD/缓存、NCCL 拓扑；纯计算外的等待会显著拉长单轮。

⏱️ Epoch Training Time Estimator

Estimate the time for one epoch and for the whole run from per-step cost and step count. Useful for scheduling and compute budgeting.

📐 计算公式 / 原理

总步数 = ⌈轮数 × 样本数 / 批量⌉；训练时长(小时) = 轮数 × 样本数 / 批量 / 速度 / 3600

把步数除以单卡吞吐（样本/秒）再换算成小时，用于排期与算力预算评估。速度为经验值，实际受数据加载、混合精度、通信开销影响，多卡时还要乘上并行效率（通常 0.7–0.9）。

轮数

数据集规模

批次

吞吐样本/s

训练排期

每步 50ms、步数 313、轮数 10 → 单轮≈15.65s，总训练≈156s 不含验证。若数据并行 4 卡步数减半则单轮≈7.8s。

显存不够 batch 又想快怎么办？: 用梯度累积模拟大 batch(不增显存)，或降低精度(混合精度)提速；也可优化数据管道减少 IO 等待，避免 GPU 空转。
实测比估算慢很多？: 多半是数据加载瓶颈或通信开销。检查 DataLoader 预取、SSD/缓存、NCCL 拓扑；纯计算外的等待会显著拉长单轮。