模型 flops 估算

← ToolBox / 模型 flops 估算
📖 檢視「模型 flops 估算使用指南」

🔮 Model FLOPs Estimator

Estimate forward-pass FLOPs from fully-connected and convolutional layer dimensions, to compare model architectures before training.

📐 計算公式 / 原理
卷積 FLOPs ≈ 2·H·W·C_in·C_out·K²；全連線 FLOPs ≈ 2·in·out；MACs ≈ FLOPs / 2
按輸出特徵圖每個元素所需的乘加次數累計：卷積為 K²·C_in 次乘加、輸出 HWC_out 個元素，乘 2 得 FLOPs。1 MAC = 1 次乘加 = 2 FLOPs，硬體標稱算力多用 MACs，對比時要注意單位換算。

📐 計算公式與說明

卷積 FLOPs ≈ 2 × H × W × C_in × C_out × K²
全連線 FLOPs ≈ 2 × in × out

FLOPs 衡量模型計算量。

📚 深度解析：模型 flops 估算

💡 常見使用場景

卷積層算力
3×3 卷積, C_in=64,C_out=128, 特徵圖 56×56：FLOPs≈2×9×64×128×56×56≈4.66×10⁹ 次/樣本。可見大特徵圖與多通道下卷積算力增長極快。

❓ 常見問題（FAQ）

FLOPs 越大模型越慢？
通常如此，但還受視訊記憶體頻寬與並行度影響；某些高 FLOPs 運算元若訪存密集會被頻寬卡住，實際延遲需結合硬體實測。
訓練 FLOPs 怎麼算？
約為前向的 2~3 倍(反向含梯度計算)，再乘訓練 token 數；大模型的訓練算力常用 Kaplan 縮放律直接由引數量與資料量估算。

🔗 相關工具

🤖 Dropout 保留期望Dropout 期望輸出計算器，輸入保留機率求 dropout 後的期望輸出與推理期縮放因子，輔助… 🔍 L1 L2 正則化懲罰L1/L2 正則化懲罰計算器，輸入權重與正則係數求對損失函式的懲罰項，對比 Lasso 與 Rid… 🤖 RAG 召回率RAG 召回率計算器，輸入相關文件數與檢索命中數求召回率，評估檢索增強生成的檢索覆蓋質量。 🤖 ROC AUC 近似輸入正負樣本預測得分，估算 ROC 曲線下面積 AUC，評估分類器排序能力，適用於模型選型、閾值無… 🤖 ReLU 與 LeakyReLUR ReLU 與 LeakyReLU 🤖 Sigmoid 輸出S Sigmoid 輸出

如何使用模型 flops 估算

  1. 按頁面提示逐項填寫或選擇所需引數。
  2. 點選「計算」或「生成」按鈕執行。
  3. 在結果區檢視輸出，可複製結果或匯出使用。

引數說明

適用場景

全連線層 FLOPs≈2·in·out·batch·seq(乘加各算一次)。

常見問題

FLOPs 越大模型越慢？
通常如此，但還受視訊記憶體頻寬與並行度影響；某些高 FLOPs 運算元若訪存密集會被頻寬卡住，實際延遲需結合硬體實測。
訓練 FLOPs 怎麼算？
約為前向的 2~3 倍(反向含梯度計算)，再乘訓練 token 數；大模型的訓練算力常用 Kaplan 縮放律直接由引數量與資料量估算。