D’où viennent les scores
Chaque score doit avoir une source publique ou un journal d’évaluation reproductible avant d’être publié.
Ce que signifie la normalisation
Phaseo conserve chaque benchmark sur sa propre échelle. Il normalise l’enregistrement autour du score, pas le score lui-même :- Chaque résultat est associé à un identifiant de benchmark unique, si bien que le même benchmark sous différents noms est regroupé.
- La configuration est conservée comme variante lorsqu’elle diffère, par exemple le nombre d’exemples few-shot, le harnais d’évaluation ou l’effort de raisonnement, au lieu d’être fusionnée avec la configuration par défaut.
- Chaque benchmark a un sens de tri. Les benchmarks où une valeur plus basse est meilleure, comme les taux d’erreur, classent le score le plus bas en premier.
- Le lien vers la source et l’indicateur d’autodéclaration restent associés au score.
Signaler une incohérence
- Ouvrez une issue avec les preuves indiquées dans Soumettre des scores de benchmark.
- Répondez aux questions de revue dans l’issue. Les mainteneurs publient les corrections vérifiées via l’éditeur de la base de données.
- Pour les contributions de recherche plus importantes, coordonnez-vous sur Discord.