Pular para o conteúdo principal
Aponte os clientes que chamam o seu proxy LiteLLM para https://api.phaseo.app/v1 com uma chave do Phaseo e, em seguida, mapeie cada alias model_name e cada configuração do proxy de forma explícita. Para manter o LiteLLM e usar o Phaseo como upstream dele, veja Integração com o LiteLLM.

Troque o cliente

Cada alias precisa de um mapeamento explícito para um ID em GET /v1/models?format=openai. Se os chamadores usam aliases internos, traduza-os em uma única função na fronteira do cliente em vez de editar cada solicitação.

Mapeie a configuração do proxy

Faça um inventário de callbacks, orçamentos e novas tentativas antes de remover o proxy: eles param silenciosamente quando ele sai de cena. Um proxy envia todo o tráfego de uma equipe pela chave de um único dono, então compartilha a cota de solicitações por minuto desse usuário, que é 10 para um espaço de trabalho novo. Consulte Limites do Gateway e providencie um limite maior antes da virada.

Teste e faça o rollout

Teste streaming, ferramentas, saídas estruturadas, novas tentativas, mapeamento de erros e qualquer telemetria baseada em callbacks que o proxy fazia. Compare latência, saída, uso de tokens e custo antes de mover o tráfego aos poucos. Antes da virada, confirme que:
  • toda URL, chave e variável LITELLM_* do LiteLLM foi identificada;
  • cada alias de produção tem um mapeamento explícito no Phaseo;
  • os padrões compartilhados ficam em predefinições ou em uma única função de fronteira;
  • os callbacks e a telemetria necessários têm um substituto;
  • você decidiu se o LiteLLM, o Phaseo ou os dois são a fonte oficial de gastos;
  • o rollback ainda é só uma troca de URL base e chave.
Última modificação em 7 de novembro de 2026