文章详情

模型量化深度解析

量化方法对比 方法 类型 精度损失 速度 推荐场景 GPTQ 训练后量化 INT4:5-10% 快 GPU推理 AWQ 训练后量化 INT4:3-8% 最快 GPU推理(推荐) SmoothQuant 训练后量化 INT8:<2% 快 高精度需求 GGUF 训练后量化 Q4_K_M:5-12% CPU可用 CPU/边缘推理 QAT 量化感知训练

7 阅读