注意力头维度 使用指南

输入隐藏维度与头数，计算多头注意力的每头维度及单层参数量，适用于 Transformer 结构核对、模型配置设计与维度对齐检查。

计算公式与原理

每头维度 = d / heads；单层权重参数 ≈ 4d² + 2d·ffn

多头注意力把 d 维切成 heads 份并行计算，每头维度须整除，头数过多会让单头维度过小、表达能力下降。单层参数由注意力四矩阵 4d² 与 FFN 两层 2d·ffn 构成，是显存与算力的主要来源。

使用步骤

1. 填写「模型维度」。
2. 填写「头数」。
3. 填写「FFN 维度」。
4. 结果区会即时更新；可一键复制结果用于记录或汇报。

典型使用场景

• 每头维度 d_head=d_model/h，需整除；常见 d_model=512,h=8→d_head=64。
• 单层注意力参数量≈4·d_model²（Q/K/V/O 四个投影），与头数无关只与总维度相关。
• 头数过多而 d_head 过小会限制每头表达能力，需权衡并行度与单头容量。

算例参考

• 头维度与参数量：d_model=768, h=12 → d_head=64。Q/K/V/O 各 768×768≈590k 参数，单层注意力≈4×590k=2.36M 参数；与 h 取值无关，只取决于 d_model。

注意事项

结果为按上述公式得到的理论估算值，实际表现受数据分布、实现细节与运行环境影响，落地决策请以实测为准；本工具纯前端运行，输入不上传服务器。

头数越多越好吗？

不一定。头数增加提升并行关注不同子空间的能力，但 d_head 随之变小、每头容量受限；过大头数收益递减且增算力。

d_head 不整除怎么办？

需调整 d_model 或头数使其整除，否则框架会报错或 padding 引入冗余；常见组合保证 d_model%h==0。