Lição 1 de 2 · 10 minutos

Roteie entre provedores

Classifique, limite ou fixe provedores e liste modelos alternativos para quando eles falharem.

A maioria dos modelos é servida por vários provedores. Para cada solicitação, o Phaseo mantém os provedores que as suas regras permitem, classifica-os e chama o melhor. Se esse provedor falhar, ele tenta o próximo. A classificação padrão, balanced, pondera o custo por resposta bem-sucedida.

Ajuste isso com o objeto provider (routing é aceito como alias):

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order define uma ordem de preferência; only e ignore permitem ou bloqueiam provedores.
  • sort classifica por price, latency ou throughput. Os sufixos de modelo :cheap, :fast e :nitro fazem o mesmo e têm prioridade sobre sort.
  • max_price define tetos de preço; required_execution_region, required_data_region e require_zero_data_retention limitam onde e como os dados são tratados.

Para fixar um provedor, sem alternativa entre provedores, coloque-o na frente do ID do modelo: baseten:thinking-machines/inkling-small. Para roteamento regional da solicitação inteira, envie as solicitações de texto para eu.api.phaseo.app ou us.api.phaseo.app.

Para recorrer a outros modelos, liste-os em models. O Phaseo tenta model primeiro e depois cada item na ordem, mas só depois que o modelo anterior termina com 429, 500, 502, 503 ou 504. Erros como 400, 401 ou 402 retornam na hora. Cada tentativa é cobrada como uma solicitação própria, e o campo model da resposta indica o modelo que respondeu. Um stream só recorre a uma alternativa antes do primeiro byte.

Confira o que você aprendeu

Você envia "model": "openai/gpt-6-astra" com "models": ["anthropic/claude-sonnet-5.5"]. O primeiro modelo retorna 400 validation_error. O que acontece?

Aplique

A sua equipe jurídica diz que os prompts dos clientes só podem ir para provedores com zero retenção de dados, e que o app nunca pode usar um provedor específico. Você não quer fixar um único provedor. O que você envia?

Mostrar a resposta

Mantenha o ID do modelo simples para que o Phaseo ainda possa recorrer a outros provedores e adicione "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Fixar com provider:model desativaria a alternativa entre provedores, e você não quer isso.

Resumo

Use provider para classificar e limitar provedores, um prefixo provider: para fixar um deles e models para recorrer a outros modelos em erros que podem ser repetidos.

Links relacionados

O progresso fica salvo neste navegador.

Verificado em 17 de novembro de 2026