注意力头维度

← ToolBox / 注意力头维度

🧩 注意力头维度

计算多头注意力的每头维度与单层权重。

📐 计算公式与说明

head_dim = d / heads

常见 head_dim 64，过大或过小均影响表达。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出