De dónde vienen las puntuaciones
Cada puntuación necesita una fuente pública o un registro de evaluación reproducible antes de publicarse.
Qué significa normalizar
Phaseo mantiene cada benchmark en su propia escala. Normaliza el registro que rodea la puntuación, no la puntuación en sí:- Cada resultado se asigna a un único ID de benchmark, de modo que el mismo benchmark con nombres distintos se agrupa.
- La configuración se conserva como variante cuando es distinta, por ejemplo el número de ejemplos few-shot, el sistema de evaluación o el esfuerzo de razonamiento, en lugar de combinarse con la predeterminada.
- Cada benchmark tiene un sentido de ordenación. Los benchmarks en los que menos es mejor, como las tasas de error, ponen primero la puntuación más baja.
- El enlace a la fuente y la marca de autodeclarada se mantienen junto a la puntuación.
Informa de una discrepancia
- Abre una incidencia con las pruebas descritas en Enviar resultados de benchmarks.
- Responde a las preguntas de revisión en la incidencia. Los mantenedores publican las correcciones verificadas mediante el editor de la base de datos.
- Para propuestas de investigación más amplias, coordínate en Discord.