Cambia el cliente
LLM_GATEWAY_*, también en los ajustes de CI y de hosting. Si la aplicación usa @llmgateway/ai-sdk-provider, cambia a @phaseo/ai-sdk-provider como en Migrar desde Vercel AI Gateway.
Asigna los ID de modelos
Lista los ID de Phaseo y comprueba cada modelo de producción con ellos:alibaba/<model> en LLM Gateway no es un ID de Phaseo. Asigna cada ID al formato <org>/<model> de Phaseo y conserva la fijación de proveedor con provider.only o con un ID provider:org/model. Traduce los alias sin prefijo, como gpt-4o, en una sola función en el límite del cliente en lugar de en cada punto de llamada.
Asigna las funciones del gateway
Prueba y despliega
Ejecuta tus prompts de referencia en ambos gateways y compara calidad, latencia y coste. Comprueba primero los endpoints:PHASEO_API_KEYestá definida en todos los entornos;- cada ID de modelo de producción está asignado y aparece en la lista;
- una solicitud sin streaming y otra con streaming funcionan en staging;
- se gestionan los errores de clave no válida y de modelo no válido; sus cuerpos pueden ser distintos de los de LLM Gateway;
- una solicitud fallida en staging se puede recuperar con
GET /v1/generations; - los valores predeterminados compartidos de prompts y enrutamiento están en presets cuando corresponde.