O formato numérico (FP8, INT8, INT4) indica a precisão.
O método de quantização indica como essa precisão foi aplicada.
Por que os métodos importam
Duas variantes INT4 podem se comportar de maneiras bem diferentes, pois a escolha do método afeta:
- Preservação da precisão
- Compatibilidade com o ambiente de execução
- Layout da memória e desempenho de inferência
- Requisitos de calibração
Famílias de métodos comuns
INT4 é o nível de precisão desejado.
AWQ INT4 e GPTQ INT4 são implementações diferentes desse objetivo.
Recomendações práticas
- Escolha primeiro um ambiente de execução que você consiga implantar com confiança.
- Filtre as famílias de métodos compatíveis com esse ambiente.
- Compare vários métodos de quantização usando o mesmo nível de precisão desejado.
- Acompanhe os modos de falha, não apenas as pontuações médias dos benchmarks.
Lista de verificação da avaliação
- Correção das saídas estruturadas
- Fidelidade em contextos longos
- Confiabilidade das chamadas de ferramentas
- Comportamento de segurança e moderação
- Latência de cauda sob carga
Última modificação em 2 de outubro de 2026
