量化压缩比 使用指南
量化压缩比估算器，输入模型量化前后精度(如 FP32→INT8)估算参数量与显存压缩比，辅助端侧部署优化。
计算公式与原理
压缩比 = 原位数 / 目标位数；模型大小(MB) ≈ 参数量 × 位数 / 8 / 1024²
量化通过降低权重数值精度（FP32→INT8 即 4:1）直接缩小体积与带宽需求，算力受限场景收益明显。但精度损失会体现在指标上，对异常值敏感的模型需做量化感知训练或逐通道校准。
使用步骤
- 填写「参数量(百万)」。
- 填写「原字节/参」。
- 填写「量化字节/参」。
- 结果区会即时更新；可一键复制结果用于记录或汇报。
典型使用场景
- 压缩比=量化前位数/量化后位数，如 FP32(32bit)→INT8(8bit) 理论压缩 4×。
- 实际显存节省还需扣减反量化层与激活的精度开销，常略低于理论值。
- 量化分训练后(PTQ)与量化感知训练(QAT)，后者精度损失更小。
算例参考
- FP32→INT8：7B 模型 FP16 权重≈14GB，量化 INT8≈3.5GB(约 4× 压缩)，可在消费级显卡部署；若进一步 INT4≈1.75GB 但精度损失更明显，需实测可接受度。
注意事项
结果为按上述公式得到的理论估算值，实际表现受数据分布、实现细节与运行环境影响，落地决策请以实测为准；本工具纯前端运行，输入不上传服务器。
- 量化一定会掉精度吗？
- 会损失一定精度，但 PTQ+校准或 QAT 可把损失压到很小；小模型/低比特(INT4)损失更大，需以下游任务指标验证。
- 压缩比和推理速度是一回事？
- 相关但不等价。低比特省显存、提升访存带宽利用率，常提速；但是否真正加速还取决于硬件对低比特算子与反量化的支持。