Estructura la integración
- Envuelve las llamadas al Gateway en un único servicio o cliente del SDK, para que un cambio de modelo o de proveedor quede en un solo lugar. Consulta Integración con el Gateway.
- Transmite las respuestas en streaming a las interfaces de chat, para que los usuarios vean los tokens a medida que llegan. Consulta Streaming.
- Pon en cola el trabajo que no es urgente, como las generaciones en segundo plano y las evaluaciones, para suavizar los picos de tráfico. La API de lotes ejecuta trabajos grandes de forma asíncrona.
Mantén las claves en secreto
- Guarda las claves de API en un gestor de secretos (AWS Secrets Manager, Doppler, 1Password) en lugar de en archivos
.enven producción. - Llama al Gateway desde tu backend y autentica tus propias aplicaciones cliente contra él, para que los clientes nunca tengan una clave del Gateway.
- Registra solo el prefijo de una clave, como
phaseo_v1_sk_<kid>, nunca el secreto.
Reintenta de forma segura
- Reintenta las respuestas
429y5xxcon espera exponencial y jitter. - Espera lo que indique
Retry-Afterantes de reintentar una solicitud limitada por frecuencia. - Comprueba en los registros de solicitudes qué proveedor atendió cada solicitud, para darte cuenta de cuándo el tráfico pasa a otro proveedor.
Vigila las señales adecuadas
Consulta Registros de solicitudes y observabilidad. Mantén documentadas tus plantillas de prompt, tus parámetros y el manejo de la salida donde tu equipo pueda revisarlos; los preajustes mantienen los prompts y valores predeterminados compartidos en un solo lugar.