各スコアに記録される内容
各ベンチマークにはカテゴリーと並べ替えの方向もあります。エラー率のように低いほど良いベンチマークでは、Phaseo は最も低いスコアを先頭に並べます。
スコアを比較する方法
Phaseo はベンチマークを 1 つの共通スコアに換算しないため、ベンチマークをまたいでではなく、同じベンチマークとバリアントでモデルを比較してください。2 つの数値を同等とみなす前に、バリアントと自己申告のフラグを確認します。同じモデルでも、プロバイダーが報告したスコアと独立に測定したスコアは異なることがあります。 ベンチマークのスコアは判断材料の 1 つです。コスト、レイテンシー、信頼性、そして自分のプロンプトをモデルがどう処理するかも同じくらい重要です。これらは料金とパフォーマンスで扱っています。ベンチマークページに表示される内容
Artificial Analysis Intelligence Index や Epoch Capabilities Index などの複合指標には専用のページがあり、公開元による順位とバージョンを確認できます。
ベンチマークのカテゴリー
その他のカテゴリーには、音声、埋め込み、ヘルスケア、計画、創造性があります。
スコアの出典
- モデルの開発元によるモデルカード、技術レポート、論文。
- ベンチマーク運営者自身の結果ページ。
- Artificial Analysis と Epoch AI からの定期的な取り込み。
- GitHub の issue を通じたコミュニティからの報告(公開前にレビューされます)。