FP8、INT8、INT4）表示精度。
量化方法说明了精度是如何实现的。
方法为何重要
两种INT4 变体的表现可能差异很大，因为方法选择会影响：
- 精度保留情况
- 与运行时环境的兼容性
- 内存布局和服务性能
- 校准要求
常见方法类别
方法与格式示例
INT4 是目标精度。AWQ INT4 和 GPTQ INT4 是实现该目标的不同方式。
实用建议
- 先选择能够可靠部署的运行时环境。
- 筛选该运行时环境支持的方法类别。
- 针对同一目标精度测试多种量化方法。
- 记录失败模式，而不只看平均基准分数。
评估清单
- 结构化输出的正确性
- 长上下文任务的忠实度
- 工具调用的可靠性
- 安全与内容审核行为
- 高负载下的尾延迟