分数从哪里来
每个分数在发布前都需要有公开来源或可复现的评估日志。
规范化指的是什么
Phaseo 让每个基准测试保持各自的分值范围。它规范化的是分数周围的记录,而不是分数本身:- 每个结果都映射到一个基准测试 ID,这样名称不同的同一基准测试会被归为一组。
- 测试设置不同时(例如 few-shot 数量、评测框架或推理 effort),会作为变体保留,而不是合并到默认设置中。
- 每个基准测试都有排序方向。越低越好的基准测试(例如错误率)会把最低分排在最前。
- 来源链接和自报标记始终与分数一起保留。