> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 基准测试方法

> 了解 Phaseo 如何收集、规范化和发布基准测试结果。

基准测试为跨模型和提供商的比较提供基础。本页介绍数据如何进入平台，以及我们如何保持数据一致。

***

## 数据来源

* **官方发布内容** — 提供商公告、技术博客和新闻资料。
* **学术论文** — 同行评审论文和包含可复现结果的 arXiv 预印本。
* **社区提交** — 来自 Phaseo 社区和合作伙伴的已验证贡献。

每项分数在被接纳前都必须附有公开引用或可复现的评估。

***

## 规范化

我们统一基准测试名称、指标和数据拆分，以便准确比较不同模型：

1. 将每项提交映射到内部基准测试 ID。
2. 将报告的指标转换为标准尺度（例如百分比）。
3. 记录偏差，例如 few-shot 变体或自定义评估框架。
4. 运行自动验证，确保字段和值范围合理。

***

## 更新频率

* 热门套件（如 MMLU、GSM8K 和 HumanEval）每周更新。
* 小众或新兴基准测试每月更新。
* 提供商或社区成员提交高质量评估时按需更新。

重大更新会写入变更日志，方便你审查历史变化。

***

## 透明度与可复现性

| 做法 | 结果 |
| - | - |
| 链接到一手来源 | 用户可以快速核验分数。 |
| 记录 `last_updated` 日期 | 提示基准测试可能需要复核的时间。 |
| 记录评估设置 | 说明提示词格式、上下文窗口和采样方式。 |
| 标记人工审核的分数 | 区分人工验证与自动化流程。 |

***

## 反馈流程

如果发现数据不一致或缺失：

1. 按[提交基准测试分数](./submitting-scores.mdx)的说明，附上证据并提交问题。
2. 在问题中回答审核提问。维护者通过数据库编辑器发布已核实的修正。
3. 通过 Discord 协调较大规模的研究提交。

我们会审核每条反馈，并在验证基准测试期间更新处理状态。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.