Métodos de cuantización

El formato numérico (FP8, INT8, INT4) indica la precisión. El método de cuantización indica cómo se aplicó esa precisión.

Por qué importan los métodos

Dos variantes INT4 pueden comportarse de forma muy distinta porque la elección del método afecta a:

Familia de métodos	Uso habitual	Notas
`AWQ`	Conserva los pesos más sensibles a las activaciones	Frecuente para equilibrar la calidad y la eficiencia en inferencia
`GPTQ`	Cuantización posterior al entrenamiento que minimiza el error	Popular en variantes compactas para inferencia local
`GGUF`	Formato de empaquetado usado por el ecosistema de llama.cpp	Suele combinarse con distintos niveles de cuantización (`Q4`, `Q5`, etc.)
`EXL2`	Variantes agresivas de pocos bits en el ecosistema ExLlama	Prioriza el alto rendimiento, con limitaciones de arquitectura y entorno de ejecución

INT4 es el objetivo de precisión.
AWQ INT4 y GPTQ INT4 son dos formas distintas de alcanzar ese objetivo.

Elige primero el entorno de ejecución (el que puedas implementar de forma fiable).
Filtra las familias de métodos compatibles con ese entorno.
Compara varios métodos de cuantización con el mismo objetivo de precisión.
Registra los modos de fallo, no solo las puntuaciones medias de las pruebas.

Última modificación el 2 de octubre de 2026