De onde vêm as pontuações
Toda pontuação precisa de uma fonte pública ou de um log de avaliação reproduzível antes de ser publicada.
O que a normalização significa
O Phaseo mantém cada benchmark na própria escala. Ele normaliza o registro em torno da pontuação, não a pontuação em si:- Cada resultado é mapeado para um único ID de benchmark, para que o mesmo benchmark com nomes diferentes fique agrupado.
- A configuração é mantida como variante quando é diferente, por exemplo no número de exemplos few-shot, no harness ou no esforço de raciocínio, em vez de ser mesclada ao padrão.
- Cada benchmark tem uma direção de ordenação. Benchmarks em que menor é melhor, como taxas de erro, classificam a menor pontuação primeiro.
- O link da fonte e a marcação de autodeclarada ficam junto com a pontuação.
Informe uma divergência
- Abra uma issue com as evidências listadas em Enviar pontuações de benchmark.
- Responda às perguntas da revisão na issue. Os mantenedores publicam as correções verificadas pelo editor do banco de dados.
- Para envios de pesquisa maiores, combine os detalhes no Discord.