Objetivo
- Unificar los valores predeterminados de prompts y parámetros.
- Limitar los proveedores disponibles durante un despliegue o por requisitos de cumplimiento.
- Conservar suficiente contexto de la solicitud para explicar por qué se enrutó de esa manera.
1. Crea el ajuste preestablecido
En Panel -> Configuración -> Ajustes preestablecidos, crea un ajuste con:- Un nombre claro y un slug
- Un prompt de sistema
- Modelos aprobados
- Preferencias de proveedores
- Valores de parámetros predeterminados, como
temperature
2. Mantén pequeño el cuerpo de la solicitud
La principal ventaja de los ajustes preestablecidos es que quien realiza la llamada ya no necesita repetir los mismos valores de enrutamiento y prompts en cada solicitud.3. Comprende qué cambia el ajuste preestablecido
El ajuste preestablecido se aplica antes del enrutamiento de proveedores:- Los parámetros que falten en la solicitud se completan con el ajuste preestablecido
- El prompt del ajuste preestablecido se antepone a la capa de sistema
- las preferencias de proveedor reducen la lista de proveedores disponibles antes de ordenarla
- Las restricciones de modelos se comprueban al principio en vez de cambiar la ruta en silencio
4. Depura el resultado del enrutamiento
Si una solicitud no se enruta como esperabas, ábrela en Gateway -> Uso y revisa:- Proveedores considerados
- Candidatos ordenados
- Factores de enrutamiento asociados a cada candidato
- Bloqueos por políticas del espacio de trabajo o protecciones
- Por qué se omitió un proveedor
- Por qué se bloqueó una solicitud
- Por qué ganó un destino más barato o con menor latencia
5. Patrón operativo
Sigue este patrón de despliegue cuando cambies el comportamiento del enrutamiento:- Crea un slug de ajuste preestablecido nuevo para la nueva política.
- Cambia una llamada de bajo riesgo al ajuste nuevo.
- Revisa los detalles de las solicitudes y las tendencias de actividad.
- Amplía el despliegue solo cuando los resultados del enrutamiento coincidan con lo esperado.