Saltar al contenido principal
Pon las llamadas al Gateway detrás de un único servicio en tu backend, mantén las claves fuera de los clientes y de los registros, reintenta solo lo que sea seguro reintentar y vigila la latencia, el coste y los errores por modelo. Cada sección enlaza a la página con los detalles.

Estructura la integración

  • Envuelve las llamadas al Gateway en un único servicio o cliente del SDK, para que un cambio de modelo o de proveedor quede en un solo lugar. Consulta Integración con el Gateway.
  • Transmite las respuestas en streaming a las interfaces de chat, para que los usuarios vean los tokens a medida que llegan. Consulta Streaming.
  • Pon en cola el trabajo que no es urgente, como las generaciones en segundo plano y las evaluaciones, para suavizar los picos de tráfico. La API de lotes ejecuta trabajos grandes de forma asíncrona.

Mantén las claves en secreto

  • Guarda las claves de API en un gestor de secretos (AWS Secrets Manager, Doppler, 1Password) en lugar de en archivos .env en producción.
  • Llama al Gateway desde tu backend y autentica tus propias aplicaciones cliente contra él, para que los clientes nunca tengan una clave del Gateway.
  • Registra solo el prefijo de una clave, como phaseo_v1_sk_<kid>, nunca el secreto.
Consulta Autenticación.

Reintenta de forma segura

  • Reintenta las respuestas 429 y 5xx con espera exponencial y jitter.
  • Espera lo que indique Retry-After antes de reintentar una solicitud limitada por frecuencia.
  • Comprueba en los registros de solicitudes qué proveedor atendió cada solicitud, para darte cuenta de cuándo el tráfico pasa a otro proveedor.
Consulta Errores y depuración y Límites de solicitudes.

Vigila las señales adecuadas

Consulta Registros de solicitudes y observabilidad. Mantén documentadas tus plantillas de prompt, tus parámetros y el manejo de la salida donde tu equipo pueda revisarlos; los preajustes mantienen los prompts y valores predeterminados compartidos en un solo lugar.
Última modificación el 5 de noviembre de 2026