Woher Ergebnisse stammen
Jedes Ergebnis braucht vor der Veröffentlichung eine öffentliche Quelle oder ein reproduzierbares Evaluierungsprotokoll.
Was Vereinheitlichung bedeutet
Phaseo belässt jeden Benchmark auf seiner eigenen Skala. Vereinheitlicht wird der Datensatz rund um das Ergebnis, nicht das Ergebnis selbst:- Jedes Ergebnis wird genau einer Benchmark-ID zugeordnet, sodass derselbe Benchmark unter verschiedenen Namen zusammengefasst wird.
- Weicht das Setup ab, etwa bei der Anzahl der Few-Shot-Beispiele, dem Harness oder dem Reasoning-Effort, wird es als Variante geführt, statt mit dem Standard zusammengelegt zu werden.
- Jeder Benchmark hat eine Sortierrichtung. Bei Benchmarks, bei denen niedriger besser ist, etwa Fehlerraten, steht das niedrigste Ergebnis oben.
- Der Quellenlink und die Kennzeichnung „selbst gemeldet“ bleiben beim Ergebnis.
Eine Abweichung melden
- Eröffne ein Issue mit den Belegen, die unter Benchmark-Ergebnisse einreichen aufgeführt sind.
- Beantworte Rückfragen im Issue. Maintainer veröffentlichen geprüfte Korrekturen über den Datenbank-Editor.
- Stimme größere Forschungsbeiträge auf Discord ab.