https://api.phaseo.app/v1 con una clave de Phaseo y después asigna cada alias model_name y cada ajuste del proxy de forma deliberada. Si prefieres conservar LiteLLM y usar Phaseo como su servicio ascendente, consulta Integración con LiteLLM.
Cambia el cliente
GET /v1/models?format=openai. Si los llamadores usan alias internos, tradúcelos en una sola función en el límite del cliente en lugar de editar cada solicitud.
Asigna la configuración del proxy
Haz inventario de callbacks, presupuestos y reintentos antes de retirar el proxy: dejan de funcionar sin avisar cuando desaparece.
Un proxy envía el tráfico de todo un equipo a través del propietario de una sola clave, así que comparte la asignación de solicitudes por minuto de ese usuario, que es de 10 en un espacio de trabajo nuevo. Consulta los límites del Gateway y consigue un límite más alto antes del cambio.
Prueba y despliega
Prueba el streaming, las herramientas, las salidas estructuradas, los reintentos, la asignación de errores y cualquier telemetría basada en callbacks que gestionara el proxy. Compara latencia, salida, uso de tokens y coste antes de mover el tráfico de forma gradual. Antes del cambio, comprueba que:- has identificado cada URL, clave y variable
LITELLM_*de LiteLLM; - cada alias de producción tiene una asignación explícita en Phaseo;
- los valores predeterminados compartidos están en presets o en una única función de límite;
- las callbacks y la telemetría necesarias tienen un sustituto;
- has decidido si LiteLLM, Phaseo o ambos son la referencia del gasto;
- la reversión sigue siendo solo un cambio de URL base y clave.