Transformer 参数量

← ToolBox / Transformer 参数量

🧠 Transformer 参数量

估算 Transformer 主体与嵌入参数量。

📐 计算公式与说明

近似 12·L·d²（含注意力与 FFN）

实际随具体架构大幅浮动。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出