注意力计算量

← ToolBox / 注意力计算量

🔢 注意力计算量

估算单层与全模型注意力 FLOPs。

📐 计算公式与说明

单层注意力 ≈ 2·S²·d(QKᵀ) + 2·S²·d(·V)

注意力和序列长度平方相关，长序列代价高。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出