Escolha a métrica que importa para a sua carga de trabalho
Nenhuma pontuação isolada prova que um modelo é a melhor escolha para todas as cargas de trabalho.
Compare preços
As tabelas de preços dos provedores usam unidades diferentes: por token, por milhão de tokens, por imagem, por segundo, por minuto ou por solicitação. O Phaseo mantém cada preço na própria unidade e converte os preços de texto comparáveis para cada 1 milhão de tokens nas visualizações do catálogo e na calculadora de preços. Em modelos de texto, compare separadamente os medidores de entrada, entrada em cache, gravação em cache, raciocínio e saída, quando existirem. Modelos de mídia mantêm a própria unidade de cobrança; compare um preço de vídeo por segundo apenas com outros preços por segundo.O preço do catálogo estima uma solicitação; não é uma cotação para qualquer payload. Níveis do provedor, ofertas regionais, preços de lote, o comportamento do cache e medidores específicos da solicitação alteram o valor final.
Entenda as métricas de desempenho
O Phaseo registra a temporização operacional das solicitações roteadas pelo Gateway.
TTFT, velocidade de saída, TPOT e ITL exigem uma resposta em streaming com uma primeira saída com conteúdo. Frames de stream que só contêm metadados não contam. Respostas sem streaming ainda podem contribuir com a duração no provedor, o E2E do Gateway e a vazão efetiva, sem um TTFT inventado.
O overhead do Phaseo é o tempo fora da chamada ao provedor selecionado: processamento no Gateway, trabalho de roteamento, novas tentativas e efeitos de rede. Ele varia por solicitação, então leia-o como uma distribuição em uma janela definida, não como um número fixo.
Leia os dados operacionais corretamente
As páginas de desempenho resumem o tráfego real do Gateway. São observações, não execuções controladas de benchmark, e descrevem uma rota ao longo de uma janela, e não o modelo em si. A latência e a disponibilidade passadas não garantem resultados futuros. Os resultados variam por causa de:- seleção de provedor e de rota
- local de execução na Cloudflare e caminho de rede
- filas no provedor ou carga regional
- tamanho do prompt e da saída
- comportamento com ou sem streaming
- novas tentativas, cancelamentos e chamadas de ferramentas
- atualizações do modelo ou do provedor durante a janela selecionada
Faça um estudo reproduzível com a sua carga de trabalho
Use a telemetria pública para reduzir os candidatos e, depois, valide os finalistas com a sua própria combinação de prompts.- Escolha dois ou três modelos roteáveis da resposta padrão de
GET /v1/models. - Crie um conjunto de prompts sem dados sensíveis que represente solicitações curtas, típicas e longas.
- Fixe o endpoint, a região, o modo de streaming, as restrições de provedor e a concorrência.
- Faça solicitações repetidas para cada prompt em vez de depender de uma única amostra.
- Capture o ID da solicitação, o provedor selecionado, o sucesso ou erro, os tokens de saída, o TTFT do Gateway, a duração no provedor, o E2E do Gateway, o overhead do Phaseo e o custo.
- Compare as distribuições e os modos de falha e, depois, guarde os resultados brutos com a configuração do teste.
GET /v1/models. Uma pontuação em benchmark não comprova a qualidade com a sua combinação de prompts; consulte Metodologia de benchmarks para ver como as pontuações são obtidas, separadamente da telemetria do Gateway. Para inspecionar todas as rotas de provedores, capacidades e preços de um modelo, use a API de endpoints de modelos ou Comparar. Para incidentes e investigação de falhas, consulte Confiabilidade e status.