"model": "phaseo/auto" e o Phaseo escolhe um modelo para cada solicitação com base na carga de trabalho, no objetivo do seu espaço de trabalho e nos limites de preço dele. O roteamento automático é uma versão Alfa disponível para espaços de trabalho selecionados.
model da resposta mostra qual modelo respondeu.
Como um modelo é escolhido
- Candidatos. O Phaseo parte de todos os modelos de texto de produção com preço padrão conhecido e mantém apenas os que correspondem aos seus padrões de modelos e ao seu perfil de gastos.
- Verificações. Cada candidato precisa passar pelas mesmas verificações de endpoint, de modelo do espaço de trabalho, de provedor, de privacidade, de guardrails e de circuit breaker que uma solicitação com modelo fixo.
- Classificador. Um modelo fixo de baixo custo lê a solicitação e retorna uma combinação de cargas de trabalho (código, raciocínio, uso de ferramentas e assim por diante), uma pontuação de complexidade e um grau de confiança. Ele nunca escolhe o modelo. As ferramentas e a saída estruturada da solicitação são repassadas a ele como fatos confiáveis.
- Pontuação. A complexidade define o modelo menos capaz com probabilidade de dar uma resposta aceitável, mais uma margem. Depois, o Phaseo combina os benchmarks do catálogo que não são informados pelos próprios desenvolvedores com o seu objetivo e com o preço, a latência, a saúde e a confiabilidade atuais de cada candidato. Dados ausentes contam como neutros; eles nunca ampliam a lista de finalistas.
Configure o recurso
1
Abra Roteamento automático
Acesse Painel -> Configurações -> Roteamento -> Roteamento automático.
2
Escolha um objetivo
3
Escolha um perfil de gastos
Cada perfil é um teto rígido para os preços de texto do nível padrão, em USD por milhão de tokens. Modelos acima dele nunca são considerados.
Personalizado permite que você defina os dois tetos.
4
Restrinja os modelos (opcional)
Adicione padrões como
anthropic/*, openai/gpt-5.* ou um ID de modelo exato.5
Permita fallbacks e salve
Com os fallbacks ativados, o Phaseo tenta o próximo modelo da classificação após um
429, 500, 502, 503 ou 504. Cada fallback passa por todas as verificações novamente. Erros do cliente não trocam de modelo.phaseo routing auto update --objective <o> --spend-profile <p> --allowed-patterns <list> --allow-fallbacks, e phaseo routing auto get para ler a configuração. A API é PATCH /v1/routing/auto.
A solicitação ao classificador
Cada solicitaçãophaseo/auto cria uma solicitação filha separada para o modelo classificador, no mesmo espaço de trabalho e com a mesma identidade de cobrança. Ela aparece separadamente nos logs de solicitações com purpose=auto_routing_classifier e o ID da solicitação pai, e é medida separadamente.
Se o classificador falhar, exceder o tempo limite ou retornar dados inválidos, o Phaseo usa um classificador local baseado em regras (código, raciocínio, uso de ferramentas, saída estruturada, tradução, resumo ou geral), para que a solicitação principal continue sendo executada.
Limites de privacidade e região
Os limites de dados da solicitação também se aplicam ao roteamento automático:- Com
provider.require_zero_data_retention: true, ou com um guardrail do espaço de trabalho ou da chave que permite apenas provedores com retenção zero, somente modelos com um provedor desse tipo entram na lista de finalistas. - As regiões exigidas são verificadas em relação aos provedores de cada candidato.
- A solicitação ao classificador carrega os mesmos limites, mais as listas de provedores
onlyeignore. Se o modelo dele não puder atendê-los, o Phaseo usa o classificador local.
403 model_region_unavailable e unmet_requirements, como aconteceria com um modelo fixo. Se modelos também tiverem sido descartados por outros motivos, ela falha com 400 unsupported_model_or_endpoint.
Inspecione uma decisão
Os detalhes da solicitação mostram a carga de trabalho, o objetivo, o modelo selecionado, a ordem de fallback, as pontuações e as pontuações por fator de cada candidato, os IDs dos benchmarks, as exclusões e a versão do algoritmo. Os rastros não contêm o conteúdo do prompt nem da resposta.Combine com outros roteamentos
- Rotas dinâmicas. Um modelo fixo escolhido por uma rota dinâmica associada tem prioridade. A substituição é registrada e os fallbacks do roteamento automático ficam desativados para essa solicitação.
- Fallbacks da solicitação.
phaseo/autogerencia os próprios fallbacks em ordem de classificação, então não pode ser combinado com uma listamodelsnem aparecer em uma.