Was jede Punktzahl erfasst
Jeder Benchmark hat außerdem eine Kategorie und eine Sortierrichtung. Benchmarks, bei denen niedriger besser ist, etwa Fehlerraten, ordnet Phaseo mit der niedrigsten Punktzahl zuerst.
Punktzahlen vergleichen
Phaseo rechnet Benchmarks nicht in eine gemeinsame Punktzahl um. Vergleiche Modelle also im selben Benchmark und in derselben Variante, nicht über Benchmarks hinweg. Prüfe die Variante und die Markierung „Selbst gemeldet“, bevor du zwei Zahlen als gleichwertig behandelst: Eine vom Anbieter gemeldete und eine unabhängig gemessene Punktzahl können für dasselbe Modell abweichen. Eine Benchmark-Punktzahl ist nur ein Faktor. Kosten, Latenz, Zuverlässigkeit und wie ein Modell mit deinen eigenen Prompts umgeht, zählen genauso; darum geht es unter Preise und Leistung.Was eine Benchmark-Seite zeigt
Zusammengesetzte Indizes wie der Artificial Analysis Intelligence Index und der Epoch Capabilities Index haben eigene Seiten mit den Ranglisten und Versionen des Herausgebers.
Benchmark-Kategorien
Weitere Kategorien sind Audio, Embeddings, Gesundheitswesen, Planung und Kreativität.
Woher die Punktzahlen stammen
- Modellkarten, technische Berichte und Paper des Modellentwicklers.
- Eigene Ergebnisseiten der Benchmark-Organisatoren.
- Geplante Importe von Artificial Analysis und Epoch AI.
- Community-Meldungen über GitHub-Issues, die vor der Veröffentlichung geprüft werden.