Qué cambia
1
Inventaría la configuración del proxy
Enumera todos los alias de modelos, modelos alternativos, reglas de proveedores, políticas de reintento, presupuestos, callbacks y variables de entorno que usa la implementación actual de LiteLLM. Identifica qué ajustes son políticas compartidas y cuáles pertenecen a una sola aplicación.
2
Sustituye el endpoint del proxy
Conserva el código de solicitudes compatible con OpenAI y cambia la URL base y la clave.
3
Asigna los alias y las reglas de enrutamiento
Verifica cada modelo de producción con
GET /v1/models. Si los clientes dependen de alias internos, normalízalos en un único límite de la aplicación en lugar de editar cada solicitud.Traslada los prompts, parámetros y restricciones de proveedores reutilizables a Preajustes. Configura la clasificación de proveedores y los modelos alternativos mediante Enrutamiento y alternativas.4
Valida los flujos de producción
Prueba el streaming, las herramientas, las salidas estructuradas, los reintentos, el mapeo de errores y cualquier observabilidad basada en callbacks que gestionaba tu implementación de LiteLLM. Compara la latencia, las respuestas, el uso de tokens y el coste antes de trasladar el tráfico gradualmente.
Lista de comprobación de la migración
- Se han identificado las URL, claves y dependencias de despliegue de LiteLLM.
- Cada modelo y alias de producción tiene una asignación explícita en Phaseo.
- Los valores predeterminados compartidos se han trasladado a preajustes o a un único límite de la aplicación.
- El streaming, las herramientas y las salidas estructuradas pasan en staging cuando se utilizan.
- Los callbacks y datos de telemetría necesarios tienen un reemplazo definido.
- La reversión sigue limitada a cambiar la configuración del endpoint y la clave.