為什麼 FFN 佔引數最多？

標準 FFN 內部維度常 4d，其兩層權重約 8d²，而注意力 Q/K/V/O 共 4d²，故 FFN 佔每層約 2/3 引數；這也是大模型壓縮的重點。

詞表越大引數越多嗎？

是。嵌入層≈V·d 隨詞表線性增長；為控引數量常用子詞分詞限制 V，或用因子分解嵌入降低維度開銷。

🏋️ Transformer Parameter Estimator

Estimate the parameter count of a Transformer from layer count, hidden size and vocabulary, separating body and embedding parameters.

📐 計算公式 / 原理

主體引數 ≈ 12·L·d²；嵌入引數 ≈ vocab × d

每層含 Q/K/V/O 四個 d×d 矩陣（4d²）與兩層 FFN（通常 4d 寬，共 8d²），合計 12d²，乘層數 L 即得主體規模；詞表嵌入另計 vocab×d（若解綁則輸出層再加一份）。實際模型還有 LayerNorm 等小量引數，估算值略偏小。

層數

隱藏維度

詞表大小

引數量估算

L=12, d=768, V=50000：每層≈12×768²≈7.08M，12 層≈85M；嵌入 50000×768≈38.4M；合計≈123M(典型 BERT-base 量級)。

為什麼 FFN 佔引數最多？: 標準 FFN 內部維度常 4d，其兩層權重約 8d²，而注意力 Q/K/V/O 共 4d²，故 FFN 佔每層約 2/3 引數；這也是大模型壓縮的重點。
詞表越大引數越多嗎？: 是。嵌入層≈V·d 隨詞表線性增長；為控引數量常用子詞分詞限制 V，或用因子分解嵌入降低維度開銷。