Pular para o conteúdo principal
Compare quanto um modelo custa em cada provedor com a velocidade com que ele tem atendido o tráfego do Gateway e, depois, confirme os finalistas com os seus próprios prompts antes de mover o tráfego de produção.

Escolha a métrica que importa para a sua carga de trabalho

Nenhuma pontuação isolada prova que um modelo é a melhor escolha para todas as cargas de trabalho.

Compare preços

As tabelas de preços dos provedores usam unidades diferentes: por token, por milhão de tokens, por imagem, por segundo, por minuto ou por solicitação. O Phaseo mantém cada preço na própria unidade e converte os preços de texto comparáveis para cada 1 milhão de tokens nas visualizações do catálogo e na calculadora de preços. Em modelos de texto, compare separadamente os medidores de entrada, entrada em cache, gravação em cache, raciocínio e saída, quando existirem. Modelos de mídia mantêm a própria unidade de cobrança; compare um preço de vídeo por segundo apenas com outros preços por segundo.
O preço do catálogo estima uma solicitação; não é uma cotação para qualquer payload. Níveis do provedor, ofertas regionais, preços de lote, o comportamento do cache e medidores específicos da solicitação alteram o valor final.
Use a calculadora de preços com um payload representativo e, depois, confirme o valor cobrado no uso do Gateway após uma solicitação de teste.

Entenda as métricas de desempenho

O Phaseo registra a temporização operacional das solicitações roteadas pelo Gateway. TTFT, velocidade de saída, TPOT e ITL exigem uma resposta em streaming com uma primeira saída com conteúdo. Frames de stream que só contêm metadados não contam. Respostas sem streaming ainda podem contribuir com a duração no provedor, o E2E do Gateway e a vazão efetiva, sem um TTFT inventado. O overhead do Phaseo é o tempo fora da chamada ao provedor selecionado: processamento no Gateway, trabalho de roteamento, novas tentativas e efeitos de rede. Ele varia por solicitação, então leia-o como uma distribuição em uma janela definida, não como um número fixo.

Leia os dados operacionais corretamente

As páginas de desempenho resumem o tráfego real do Gateway. São observações, não execuções controladas de benchmark, e descrevem uma rota ao longo de uma janela, e não o modelo em si. A latência e a disponibilidade passadas não garantem resultados futuros. Os resultados variam por causa de:
  • seleção de provedor e de rota
  • local de execução na Cloudflare e caminho de rede
  • filas no provedor ou carga regional
  • tamanho do prompt e da saída
  • comportamento com ou sem streaming
  • novas tentativas, cancelamentos e chamadas de ferramentas
  • atualizações do modelo ou do provedor durante a janela selecionada
Os gráficos públicos podem mostrar percentis como P50, P90, P95 e P99. Para latência, menor é melhor. Para vazão, maior é melhor, então um percentil de vazão mais baixo descreve a cauda lenta. Sempre registre a janela de tempo selecionada, a rota, a região, os filtros de amostra e o percentil ao lado de um resultado. Não compare duas capturas de tela com janelas diferentes como se fossem o mesmo estudo.

Faça um estudo reproduzível com a sua carga de trabalho

Use a telemetria pública para reduzir os candidatos e, depois, valide os finalistas com a sua própria combinação de prompts.
  1. Escolha dois ou três modelos roteáveis da resposta padrão de GET /v1/models.
  2. Crie um conjunto de prompts sem dados sensíveis que represente solicitações curtas, típicas e longas.
  3. Fixe o endpoint, a região, o modo de streaming, as restrições de provedor e a concorrência.
  4. Faça solicitações repetidas para cada prompt em vez de depender de uma única amostra.
  5. Capture o ID da solicitação, o provedor selecionado, o sucesso ou erro, os tokens de saída, o TTFT do Gateway, a duração no provedor, o E2E do Gateway, o overhead do Phaseo e o custo.
  6. Compare as distribuições e os modos de falha e, depois, guarde os resultados brutos com a configuração do teste.
Exemplo de esquema de resultado:
Os valores zero são marcadores de posição. Publique valores medidos apenas junto com a definição da carga de trabalho, o número de amostras, a janela de tempo e a permissão para divulgar os dados. Uma entrada no catálogo não significa que um modelo pode ser roteado, então comece pela resposta padrão de GET /v1/models. Uma pontuação em benchmark não comprova a qualidade com a sua combinação de prompts; consulte Metodologia de benchmarks para ver como as pontuações são obtidas, separadamente da telemetria do Gateway. Para inspecionar todas as rotas de provedores, capacidades e preços de um modelo, use a API de endpoints de modelos ou Comparar. Para incidentes e investigação de falhas, consulte Confiabilidade e status.
Última modificação em 5 de novembro de 2026