O que cada pontuação registra
Cada benchmark também tem uma categoria e uma direção de ordenação. O Phaseo classifica benchmarks em que menor é melhor, como taxas de erro, com a menor pontuação primeiro.
Como comparar pontuações
O Phaseo não converte os benchmarks em uma pontuação comum, então compare modelos no mesmo benchmark e na mesma variante, não entre benchmarks diferentes. Verifique a variante e a marcação de informado pelo próprio antes de tratar dois números como equivalentes: uma pontuação informada pelo provedor e uma medida de forma independente podem diferir para o mesmo modelo. A pontuação de um benchmark é só um dos fatores. Custo, latência, confiabilidade e o desempenho de um modelo com os seus próprios prompts importam tanto quanto; Preços e desempenho trata desses pontos.O que a página de um benchmark mostra
Índices compostos, como o Artificial Analysis Intelligence Index e o Epoch Capabilities Index, têm páginas próprias com as classificações e as versões de quem os publica.
Categorias de benchmarks
Outras categorias incluem áudio, embeddings, saúde, planejamento e criatividade.
De onde vêm as pontuações
- Model cards, relatórios técnicos e artigos de quem desenvolveu o modelo.
- Páginas de resultados dos próprios organizadores dos benchmarks.
- Importações programadas da Artificial Analysis e da Epoch AI.
- Relatos da comunidade por meio de issues no GitHub, revisados antes da publicação.