float8 para FP8 y bfloat16 para BF16. Las ofertas sin metadatos de cuantización no son válidas. Si no hay ninguna oferta válida, la solicitud falla y muestra diagnósticos de enrutamiento; Phaseo no recurre a una cuantización sin verificar. También se admite la estructura equivalente routing.quantizations.
Paso 1: define tus criterios de éxito
Antes de elegir una cuantización:- Define umbrales de calidad (precisión de la tarea, tasas de aprobación y validez de la salida estructurada).
- Define objetivos de latencia y coste.
- Define los modos de fallo inaceptables.
Paso 2: elige una base de alta calidad
Empieza con una base más precisa (a menudoBF16 o FP16) y mide:
- Calidad de la salida
- Latencia mediana y de cola
- Perfil de tokens y costes
Paso 3: reduce la precisión gradualmente
Evalúa progresivamente formatos de menor precisión:FP8orINT8- Usa
FP4oINT4solo si necesitas reducir costes o aumentar el rendimiento.
Paso 4: evalúa cargas de trabajo reales
Usa prompts similares a los de producción:- Prompts largos
- Razonamiento en varios pasos
- Llamadas a herramientas
- Casos límite de solicitudes de soporte
Paso 5: decide por endpoint o caso de uso
No es necesario utilizar una sola cuantización para todo. Ejemplos:- Atención al cliente y decisiones críticas: alta precisión.
- Clasificación o resumen de grandes volúmenes: puede ser aceptable una precisión menor.
Puntos de partida recomendados
Política de implementación
- Configura un modelo o una cuantización de reserva.
- Supervisa los cambios en la calidad después del despliegue.
- Repite las pruebas cuando cambie el entorno de ejecución del proveedor o la versión del modelo.