量化压缩比

🗜️ Quantization Compression Ratio Estimator

Estimate the parameter and memory compression ratio when quantizing a model, for example from FP32 down to INT8, to plan deployment.

📐 计算公式 / 原理

模型量化估算（本页代码口径，十进制 MB——1MB=10⁶ 字节，非 1024² MiB）：原大小 MB=参数量(百万)×10⁶×原字节÷参÷10⁶，即每参数字节数×参数量（百万）所得即 MB 数；新大小 MB 同式换用量化后字节；压缩比=原字节÷参 ÷ 量化字节÷参。校验：无强校验，空值按 0 兜底；结果非有限时提示「部分结果无定义」。判据：无固定分级，FP32→INT8 理论压缩 4 倍，字节减半体积即减半。

量化通过降低权重数值精度（FP32→INT8 即 4:1）直接缩小体积与带宽需求，算力受限场景收益明显。但精度损失会体现在指标上，对异常值敏感的模型需做量化感知训练或逐通道校准。

参数量(百万)

原字节/参

量化字节/参

📐 计算公式与说明

判读与节省（与上方公式互补，共用同一组输入，同十进制 MB 口径）：量化前体积=参数量(百万)×原字节÷参、量化后=参数量×量化字节÷参（MB）；节省 MB=前后差、空间节省率=节省÷量化前×100%；历史对照面板按同口径复算（要求参数量与两项字节数均>0 才记录）。校验：与上方一致，空值按 0 兜底。判据：无固定分级，体积与参数量线性正相关。

FP32→INT8 约 4× 压缩，需校准保精度。

📚 深度解析：量化压缩比

💡 常见使用场景

压缩比=量化前位数/量化后位数，如 FP32(32bit)→INT8(8bit) 理论压缩 4×。

实际显存节省还需扣减反量化层与激活的精度开销，常略低于理论值。

量化分训练后(PTQ)与量化感知训练(QAT)，后者精度损失更小。

FP32→INT8

7B 模型 FP16 权重≈14GB，量化 INT8≈3.5GB(约 4× 压缩)，可在消费级显卡部署；若进一步 INT4≈1.75GB 但精度损失更明显，需实测可接受度。

❓ 常见问题（FAQ）

量化一定会掉精度吗？

会损失一定精度，但 PTQ+校准或 QAT 可把损失压到很小；小模型/低比特(INT4)损失更大，需以下游任务指标验证。

压缩比和推理速度是一回事？

相关但不等价。低比特省显存、提升访存带宽利用率，常提速；但是否真正加速还取决于硬件对低比特算子与反量化的支持。

Item	Formula / Note	Source / Standard
Bit width ratio	the ratio is source bit width over target bit width such as thirty-two over eight	IEEE 754-2019 floating point
Memory estimate	parameter count times bit width over eight gives the memory footprint in bytes	Jacob et al. 2018, integer quantization
Accuracy loss	low bit quantization introduces error and needs calibration plus layer sensitivity analysis	ISO/IEC TR 24028:2020 AI trustworthiness

Item

Formula / Note

Source / Standard

Bit width ratio

the ratio is source bit width over target bit width such as thirty-two over eight

IEEE 754-2019 floating point

Memory estimate

parameter count times bit width over eight gives the memory footprint in bytes

Jacob et al. 2018, integer quantization

Accuracy loss

low bit quantization introduces error and needs calibration plus layer sensitivity analysis

ISO/IEC TR 24028:2020 AI trustworthiness