> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 量化方法

> 了解量化方法与数值格式的区别，以及为什么方法选择很重要。

数值格式（`FP8`、`INT8`、`INT4`）表示精度。

量化方法说明了精度是**如何**实现的。

## 方法为何重要

两种 `INT4` 变体的表现可能差异很大，因为方法选择会影响：

* 精度保留情况
* 与运行时环境的兼容性
* 内存布局和服务性能
* 校准要求

## 常见方法类别

| 方法类别 | 常见用途 | 说明 |
| - | - | - |
| `AWQ` | 保留对激活值较敏感的权重 | 常用于平衡推理质量与效率 |
| `GPTQ` | 通过最小化误差进行训练后量化 | 常用于紧凑型本地推理变体 |
| `GGUF` | llama.cpp 生态使用的打包格式 | 通常与不同量化级别（`Q4`、`Q5` 等）搭配使用 |
| `EXL2` | ExLlama 生态中激进的低比特变体 | 注重高吞吐量，但受架构和运行时环境限制 |

## 方法与格式示例

`INT4` 是目标精度。\
`AWQ INT4` 和 `GPTQ INT4` 是实现该目标的不同方式。

## 实用建议

1. 先选择能够可靠部署的运行时环境。
2. 筛选该运行时环境支持的方法类别。
3. 针对同一目标精度测试多种量化方法。
4. 记录失败模式，而不只看平均基准分数。

## 评估清单

* 结构化输出的正确性
* 长上下文任务的忠实度
* 工具调用的可靠性
* 安全与内容审核行为
* 高负载下的尾延迟


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.