Méthodes de quantification

Le format numérique (FP8, INT8, INT4) indique la précision. La méthode de quantification indique comment cette précision a été appliquée.

Pourquoi les méthodes comptent

Deux variantes INT4 peuvent se comporter très différemment, car le choix de la méthode influe sur :

Famille de méthodes	Usage courant	Remarques
`AWQ`	Préserve les poids les plus sensibles aux activations	Courant pour équilibrer qualité et efficacité en inférence
`GPTQ`	Quantification après entraînement avec minimisation de l’erreur	Populaire pour les variantes compactes d’inférence locale
`GGUF`	Format de paquet utilisé dans l’écosystème llama.cpp	Souvent associé à différents niveaux de quantification (`Q4`, `Q5`, etc.)
`EXL2`	Variantes agressives à faible nombre de bits dans l’écosystème ExLlama	Privilégie le débit, avec des contraintes d’architecture et d’environnement d’exécution

INT4 est le niveau de précision visé.
AWQ INT4 et GPTQ INT4 sont deux façons différentes d’atteindre ce niveau.

Choisissez d’abord l’environnement d’exécution que vous pouvez déployer de manière fiable.
Filtrez les familles de méthodes compatibles avec cet environnement.
Comparez plusieurs méthodes de quantification avec le même niveau de précision visé.
Suivez les modes d’échec, pas seulement les scores moyens des benchmarks.

Dernière modification le 2 octobre 2026