Fuentes de datos
- Fuentes oficiales — Anuncios de proveedores, blogs técnicos y materiales de prensa.
- Artículos académicos — Publicaciones revisadas por pares y prepublicaciones de arXiv con resultados reproducibles.
- Contribuciones de la comunidad — Aportaciones verificadas de la comunidad de Phaseo y sus colaboradores.
Normalización
Estandarizamos los nombres, las métricas y las particiones de los benchmarks para que las comparaciones entre modelos sean precisas:- Asigna cada contribución a un ID interno de benchmark.
- Convierte las métricas publicadas a una escala canónica (por ejemplo, porcentajes).
- Anota las diferencias, como variantes con pocos ejemplos o sistemas de evaluación personalizados.
- Ejecuta una validación automatizada para comprobar que los campos y rangos sean razonables.
Frecuencia de actualización
- Semanalmente para conjuntos populares como MMLU, GSM8K y HumanEval.
- Mensualmente para benchmarks especializados o emergentes.
- A petición, cuando proveedores o miembros de la comunidad envían evaluaciones de alta calidad.
Transparencia y reproducibilidad
Ciclo de comentarios
Si detectas discrepancias o datos ausentes:- Abre una incidencia con las pruebas descritas en Enviar resultados de benchmarks.
- Responde a las preguntas de revisión en la incidencia. Los mantenedores publican las correcciones verificadas mediante el editor de la base de datos.
- Contacta por Discord para coordinar propuestas de investigación más amplias.