https://api.phaseo.app/v1 com uma chave do Phaseo e, em seguida, mapeie cada alias model_name e cada configuração do proxy de forma explícita. Para manter o LiteLLM e usar o Phaseo como upstream dele, veja Integração com o LiteLLM.
Troque o cliente
GET /v1/models?format=openai. Se os chamadores usam aliases internos, traduza-os em uma única função na fronteira do cliente em vez de editar cada solicitação.
Mapeie a configuração do proxy
Faça um inventário de callbacks, orçamentos e novas tentativas antes de remover o proxy: eles param silenciosamente quando ele sai de cena.
Um proxy envia todo o tráfego de uma equipe pela chave de um único dono, então compartilha a cota de solicitações por minuto desse usuário, que é 10 para um espaço de trabalho novo. Consulte Limites do Gateway e providencie um limite maior antes da virada.
Teste e faça o rollout
Teste streaming, ferramentas, saídas estruturadas, novas tentativas, mapeamento de erros e qualquer telemetria baseada em callbacks que o proxy fazia. Compare latência, saída, uso de tokens e custo antes de mover o tráfego aos poucos. Antes da virada, confirme que:- toda URL, chave e variável
LITELLM_*do LiteLLM foi identificada; - cada alias de produção tem um mapeamento explícito no Phaseo;
- os padrões compartilhados ficam em predefinições ou em uma única função de fronteira;
- os callbacks e a telemetria necessários têm um substituto;
- você decidiu se o LiteLLM, o Phaseo ou os dois são a fonte oficial de gastos;
- o rollback ainda é só uma troca de URL base e chave.