429 y 5xx con backoff exponencial.
Elige cómo se clasifican los proveedores
Establece el valor predeterminado del espacio de trabajo en Panel -> Ajustes -> Enrutamiento, con
phaseo settings update --routing-mode <mode> o con routing_mode en PATCH /v1/settings. Para una sola solicitud, envía provider.sort o routing.mode, o añade un sufijo al ID del modelo:
Un sufijo prevalece sobre
routing.mode, provider.sort y los modos del preajuste y del espacio de trabajo. Las listas de permitidos, las regiones, los guardrails y los precios máximos se siguen aplicando.
La página de ajustes de Enrutamiento también tiene interruptores para los canales beta y alfa, de modo que los proveedores en vista previa solo reciben tráfico cuando lo activas.
Cómo clasifica el modo balanced a los proveedores
En las solicitudes de texto (Chat Completions, Responses y Messages),balanced estima el coste por respuesta correcta de cada proveedor:
- Tokens: lo que cuesta una solicitud típica de este modelo en el proveedor, usando los tamaños medidos de prompt y salida del modelo y la tasa de aciertos de caché medida del proveedor.
- Espera: el tiempo hasta el primer token y hasta la respuesta completa, convertido a dólares al precio por segundo típico del modelo.
- Fallos: el total dividido por la tasa de éxito reciente del proveedor, más una penalización por errores del proveedor y otra menor por límites de velocidad.
Modelos alternativos por solicitud
Enumera los modelos alternativos enmodels. Phaseo prueba primero model y después cada entrada en orden:
429, 500, 502, 503 o 504. Un 429 de un presupuesto de Phaseo o de la cuota de modelos gratuitos también pasa al siguiente, ya que otro modelo puede ajustarse al límite restante. Lo mismo ocurre con un modelo que ya no sirve ningún proveedor, por ejemplo uno retirado.
Qué no. Los errores del cliente, como 400, 401, 402, 403, 404, 408, 413 y 422, se devuelven de inmediato. Lo mismo ocurre con los fallos anteriores a la ejecución del primer modelo, como la autenticación o los límites de velocidad de la clave de API.
Reglas de la lista:
modeles obligatorio; enviar solomodelsdevuelve400.modelsacepta de 1 a 25 entradas. Los duplicados y las copias demodelse ignoran.- Las entradas pueden ser ID de modelo, ID calificados por proveedor o preajustes como
@support. - Cada intento se valida como una solicitud independiente (endpoint, parámetros, modelos del espacio de trabajo, guardrails, preajustes, precios, BYOK). Una alternativa que no puede atender la solicitud se omite y se registra; nunca sustituye al error que recibirías en otro caso. Un intento idéntico a uno ya realizado también se omite.
model de la respuesta nombra el modelo que respondió, y su traza de enrutamiento enumera el ID de la solicitud principal, el orden de las alternativas y cada intento anterior.
Streaming, vídeo y música. Un stream solo recurre a una alternativa antes de su primer byte; después, los errores llegan dentro del stream. El vídeo y la música solo recurren a una alternativa mientras se envía el trabajo.
Con otros controles de enrutamiento. Las alternativas de una ruta dinámica vinculada tienen prioridad sobre models, y un modelo fijo elegido por la ruta se sigue aplicando a cada intento. Un preajuste aplica sus propias restricciones a cada intento en el que se usa. phaseo/auto gestiona sus propias alternativas y no se puede combinar con models.
Los endpoints multipart aceptan campos
models repetidos, campos models[] o una cadena con un array JSON. Consulta también Límites de velocidad y Errores.
Fija un solo proveedor
Pon el proveedor delante del ID del modelo para usar exactamente ese proveedor:baseten:google/gemma-4-26b-a4b:free. ID de modelo calificados por proveedor explica la sintaxis completa y los errores.
Limita qué proveedores se usan
Vincula reglas de enrutamiento a claves de API
Una ruta dinámica es un flujo de reglas vinculado a una o varias claves de API de inferencia. Puede:- ramificar según campos del cuerpo de la solicitud, encabezados,
metadatapersonalizados, el endpoint, el modelo o el ID de sesión - repartir el tráfico por porcentaje para pruebas A/B y despliegues
- limitar las solicitudes o el coste diarios, semanales o mensuales por clave
- cambiar el modelo, el modo de enrutamiento, la preferencia de proveedor y los modelos alternativos (hasta ocho)
- activar la afinidad de proveedor basada en la caché y en la sesión
/v1/routing/dynamic-routes con una clave de administración.
Los metadatos personalizados van en el cuerpo de la solicitud en los endpoints de texto compatibles con OpenAI:
Mantén una conversación en un solo proveedor
El enrutamiento basado en la caché está activado de forma predeterminada para la generación de texto. Una solicitud que envíaprompt_cache_key o session_id, o que activa la caché con cache_control (de nivel superior, en provider_options.anthropic, o como una marca cache_control o prompt_cache_breakpoint en un bloque de mensaje o una herramienta), queda fijada al proveedor y la ruta que atendieron su primera solicitud correcta. Las demás solicitudes quedan fijadas durante 15 minutos cuando un proveedor indica una lectura o escritura de caché para el mismo contexto inicial, si la entrada en caché de ese proveedor es más barata que su entrada estándar.
Desactívalo para una solicitud con
provider.cache_aware_routing: false, o mantén la afinidad de caché pero ignora la sesión con routing.session_affinity: false:
Explica una decisión de enrutamiento
Abre Panel -> Ajustes -> Uso -> Registros de solicitudes, selecciona una solicitud y despliega Observabilidad de enrutamiento en Respuestas del proveedor. Muestra:- cada proveedor clasificado con su puntuación final, y cuáles se seleccionaron y se intentaron
- los proveedores excluidos antes de la clasificación, con el motivo
- los proveedores rebajados en la clasificación por su estado de despliegue o de enrutamiento
- las entradas, ponderaciones, contribuciones y multiplicadores de cada puntuación
Qué cuenta en contra de la disponibilidad de un proveedor
Las restricciones geográficas y los límites de velocidad se registran por separado, porque no significan que el proveedor esté caído. En producción, registra los ID de solicitud, los códigos de estado y los ID de modelo para poder relacionar los fallos con estas trazas.
Modelos retirados
Un modelo retirado sigue funcionando mientras algún proveedor lo sirva. Después, las solicitudes fallan con410 model_retired, salvo que el espacio de trabajo las envíe a un sustituto con el enrutamiento de modelos retirados. Tu propia lista models siempre se prueba primero. Consulta Obsolescencia y retirada de modelos.
Consideraciones sobre BYOK
Con , Phaseo enruta y registra la solicitud mientras tu proveedor factura el uso del modelo.
Limita cada clave a los modelos y claves de API que la necesiten. Para evitar que una solicitud BYOK fallida se reintente con créditos de Phaseo, desactiva la alternativa en Panel -> Ajustes -> Trae tu propia clave, o establece
byok_fallback_enabled en PATCH /v1/settings con una clave de administración. Añade claves en el mismo lugar, o con POST /v1/byok y una clave de administración.