Roteie entre provedores
Classifique, limite ou fixe provedores e liste modelos alternativos para quando eles falharem.
A maioria dos modelos é servida por vários provedores. Para cada solicitação, o Phaseo mantém os provedores que as suas regras permitem, classifica-os e chama o melhor. Se esse provedor falhar, ele tenta o próximo. A classificação padrão, balanced, pondera o custo por resposta bem-sucedida.
Ajuste isso com o objeto provider (routing é aceito como alias):
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
orderdefine uma ordem de preferência;onlyeignorepermitem ou bloqueiam provedores.sortclassifica porprice,latencyouthroughput. Os sufixos de modelo:cheap,:faste:nitrofazem o mesmo e têm prioridade sobresort.max_pricedefine tetos de preço;required_execution_region,required_data_regionerequire_zero_data_retentionlimitam onde e como os dados são tratados.
Para fixar um provedor, sem alternativa entre provedores, coloque-o na frente do ID do modelo: baseten:thinking-machines/inkling-small. Para roteamento regional da solicitação inteira, envie as solicitações de texto para eu.api.phaseo.app ou us.api.phaseo.app.
Para recorrer a outros modelos, liste-os em models. O Phaseo tenta model primeiro e depois cada item na ordem, mas só depois que o modelo anterior termina com 429, 500, 502, 503 ou 504. Erros como 400, 401 ou 402 retornam na hora. Cada tentativa é cobrada como uma solicitação própria, e o campo model da resposta indica o modelo que respondeu. Um stream só recorre a uma alternativa antes do primeiro byte.
Confira o que você aprendeu
Você envia "model": "openai/gpt-6-astra" com "models": ["anthropic/claude-sonnet-5.5"]. O primeiro modelo retorna 400 validation_error. O que acontece?
Aplique
A sua equipe jurídica diz que os prompts dos clientes só podem ir para provedores com zero retenção de dados, e que o app nunca pode usar um provedor específico. Você não quer fixar um único provedor. O que você envia?
Mostrar a respostaOcultar a resposta
Mantenha o ID do modelo simples para que o Phaseo ainda possa recorrer a outros provedores e adicione "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Fixar com provider:model desativaria a alternativa entre provedores, e você não quer isso.
Resumo
provider para classificar e limitar provedores, um prefixo provider: para fixar um deles e models para recorrer a outros modelos em erros que podem ser repetidos.Links relacionados
Verificado em 17 de novembro de 2026