量化一定會掉精度嗎？

會損失一定精度，但 PTQ+校準或 QAT 可把損失壓到很小；小模型/低位元(INT4)損失更大，需以下游任務指標驗證。

壓縮比和推理速度是一回事？

相關但不等價。低位元省視訊記憶體、提升訪存頻寬利用率，常提速；但是否真正加速還取決於硬體對低位元運算元與反量化的支援。

🗜️ Quantization Compression Ratio Estimator

Estimate the parameter and memory compression ratio when quantizing a model, for example from FP32 down to INT8, to plan deployment.

📐 計算公式 / 原理

壓縮比 = 原位數 / 目標位數；模型大小(MB) ≈ 引數量 × 位數 / 8 / 1024²

量化通過降低權重數值精度（FP32→INT8 即 4:1）直接縮小體積與頻寬需求，算力受限場景收益明顯。但精度損失會體現在指標上，對異常值敏感的模型需做量化感知訓練或逐通道校準。

引數量(百萬)

原位元組/參

量化位元組/參

FP32→INT8

7B 模型 FP16 權重≈14GB，量化 INT8≈3.5GB(約 4× 壓縮)，可在消費級顯示卡部署；若進一步 INT4≈1.75GB 但精度損失更明顯，需實測可接受度。