6ND 是上限還是典型值？

6ND 是前向+反向的理論下界(理想乘加計數)，實際含啟用重算、通訊與低效會更高；規劃時乘以 1.5~3 倍餘量更穩妥。

引數量和訓練資料哪個更耗算力？

二者線性相乘，等比例增。但現代訓練常'資料受限'，即資料量不足以讓引數充分訓練，此時加資料比加引數更划算(直到 Chinchilla 最優點)。

🧮 Training Compute Estimator

Estimate total training FLOPs from parameter count and training tokens using Kaplan-style scaling laws, for compute planning.

📐 計算公式 / 原理

訓練 FLOPs ≈ 6·N·D（N 為引數量，D 為訓練 token 數）；訓練月數 ≈ 6ND / (卡數 × 單卡算力 × 3600 × 24 × 30)

Transformer 訓練的經驗法則：前向 2N、反向約 4N，合計每 token 約 6N FLOPs，即 Chinchilla 系列縮放律推導的基礎。再除以叢集有效算力（須乘 MFU，實際常 30%–50%）得到訓練週期。

引數量(億)

訓練 tokens(億)

GPU 數

7B 模型算力

N=7×10⁹, D=1×10¹² → FLOPs≈6×7e9×1e12=4.2×10²²。按 1e15 FLOPs/s(約 1 PFLOPS 有效)需≈4.2e7 秒≈487 天單卡；實際靠千卡叢集並行縮短。

6ND 是上限還是典型值？: 6ND 是前向+反向的理論下界(理想乘加計數)，實際含啟用重算、通訊與低效會更高；規劃時乘以 1.5~3 倍餘量更穩妥。
引數量和訓練資料哪個更耗算力？: 二者線性相乘，等比例增。但現代訓練常'資料受限'，即資料量不足以讓引數充分訓練，此時加資料比加引數更划算(直到 Chinchilla 最優點)。