Troque o cliente
LLM_GATEWAY_*, inclusive nas configurações de CI e de hospedagem. Se o app usa @llmgateway/ai-sdk-provider, troque para @phaseo/ai-sdk-provider como em Migração do Vercel AI Gateway.
Mapeie os IDs de modelo
Liste os IDs do Phaseo e confira cada modelo de produção com eles:alibaba/<model> no LLM Gateway não é um ID do Phaseo. Mapeie cada ID para o <org>/<model> do Phaseo e mantenha uma fixação de provedor com provider.only ou um ID provider:org/model. Traduza aliases sem prefixo, como gpt-4o, em uma única função na fronteira do cliente, e não em cada ponto de chamada.
Mapeie os recursos do gateway
Teste e faça o rollout
Execute seus prompts de referência nos dois gateways e compare qualidade, latência e custo. Confira os endpoints primeiro:PHASEO_API_KEYestá definida em todos os ambientes;- cada ID de modelo de produção está mapeado e listado;
- uma solicitação sem streaming e uma com streaming passam em staging;
- os erros de chave inválida e de modelo inválido são tratados; os corpos deles podem ser diferentes dos do LLM Gateway;
- uma solicitação de staging com falha pode ser recuperada com
GET /v1/generations; - os padrões compartilhados de prompt e roteamento ficam em predefinições, onde devem ficar.