每个分数记录的内容
每项基准测试还有一个类别和一个排序方向。对于越低越好的基准测试(例如错误率),Phaseo 会把分数最低的排在最前面。
如何比较分数
Phaseo 不会把各项基准测试换算成一个统一分数,因此请在同一基准测试和同一变体上比较模型,而不要跨基准测试比较。在把两个数字视为等同之前,先检查变体和自报标记:对于同一个模型,提供商报告的分数和独立测得的分数可能不同。 基准测试分数只是参考因素之一。成本、延迟、可靠性以及模型处理你自己的提示词的表现同样重要;这些内容见价格与性能。基准测试页面显示的内容
综合指数(例如 Artificial Analysis Intelligence Index 和 Epoch Capabilities Index)有各自的页面,展示发布方的排名和版本。
基准测试类别
其他类别还包括音频、嵌入、医疗健康、规划和创造力。
分数的来源
- 模型开发者发布的模型卡、技术报告和论文。
- 基准测试组织方自己的结果页面。
- 定期从 Artificial Analysis 和 Epoch AI 导入的数据。
- 通过 GitHub issue 提交的社区报告,发布前会经过审核。