> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 衡量价格与性能

> 比较提供商价格和 Gateway 运行性能，但不要将观测数据视为受控基准测试。

本指南介绍如何比较不同路由的成本和速度、了解 Phaseo 显示的指标，以及如何在切换生产流量前设计工作负载测试。

## 先明确决策目标

选择与你要保障的用户体验相对应的指标。

| 工作负载 | 建议指标 | 原因 |
| - | - | - |
| 聊天、辅助工具和语音 | Gateway TTFT | 用户会注意到有用输出开始得有多快。 |
| 长回答和代码生成 | Output speed | 对于较长的回答，持续生成速度起主导作用。 |
| 工具和结构化工作流 | Gateway E2E | 路由、重试和编排都会影响完整结果。 |
| 批处理或离线任务 | 成本和有效吞吐量 | 如果更关注总吞吐量和支出，较慢的启动也可以接受。 |

单一分数无法证明某个模型适用于所有工作负载。

## 比较价格

提供商价格表使用不同的计量单位：每个令牌、每百万令牌、每张图像、每秒、每分钟或每次请求。Phaseo 保留原始单位，并为目录视图和价格计算器标准化可比较的价格。

对于文本模型，如果存在输入、缓存输入、缓存写入、推理和输出计费项，应分别比较。对于媒体模型，应显示原生计费单位；不能把每秒视频价格当作令牌价格展示。

<Note>
  目录价格可用于估算请求费用，但并不代表所有负载的报价。提供商等级、地区优惠、批量定价、缓存行为和特定请求的计费项都可能改变最终金额。
</Note>

使用[价格计算器](https://phaseo.app/tools/pricing-calculator)估算一个典型负载，然后在测试请求后通过 Gateway 使用情况确认实际收费。

## 了解性能指标

Phaseo 会记录经由 Gateway 路由的请求运行时间。

| 指标 | 定义 |
| - | - |
| **Gateway TTFT** | 从 Gateway 请求开始到首次生成包含内容的输出。 |
| **Provider TTFT** | 从请求发送到所选提供商，到首次生成包含内容的输出。 |
| **Provider duration** | 从请求发送到所选提供商，到最终响应。 |
| **Gateway E2E** | 从 Gateway 请求开始到完成。 |
| **Phaseo overhead** | `max(0, Gateway E2E - provider duration)`. |
| **Effective throughput** | 所有输出令牌数除以提供商的完整处理时长。 |
| **Output speed** | 首个输出之后的输出令牌数除以 TTFT 之后的提供商处理时间。 |
| **TPOT / ITL** | 首次输出后每个令牌的请求级平均耗时。 |

TTFT、输出速度、TPOT 和 ITL 需要流式响应，并且首次输出必须包含内容。 仅包含元数据的流帧不计入。 非流式响应仍可用于统计提供商处理时长、Gateway E2E 和有效吞吐量，而不会虚构 TTFT。

Phaseo 开销用于统计所选提供商调用之外的耗时。 其中可能包含 Gateway 处理、路由工作、重试和网络影响。 它不是固定的平台常数，应视为特定时间窗口内的分布。

## 正确解读运行数据

性能页面汇总了 Gateway 的实时流量。 这些是观测性测量，并非受控基准测试，也不是模型的固有属性。

结果可能会因以下因素而变化：

* 提供商和路由的选择
* Cloudflare 执行位置和网络路径
* 提供商排队或区域负载
* 提示和输出长度
* 流式或非流式行为
* 重试、取消和工具调用
* 所选时间窗口内的模型或提供商更新

公开图表可能会显示 P50、P90、P95 和 P99 等百分位数。 延迟越低越好。 吞吐量越高越好，因此较低的吞吐量百分位数代表较慢的一端。

务必在结果旁记录所选时间窗口、路由、地区、样本筛选条件和百分位数。 不要把时间窗口不同的两张截图当作同一项研究进行比较。

## 开展可复现的工作负载测试

先利用公开遥测缩小候选范围，再用自己的提示组合验证最终候选。

1. 从默认的 `GET /v1/models` 响应中选择两到三个可路由模型。
2. 创建一组经过脱敏的提示，涵盖简短、典型和较长的请求。
3. 固定端点、地区、流式模式、提供商约束和并发数。
4. 不要只依赖单个样本，应针对每个提示重复发送请求。
5. 记录请求 ID、所选提供商、成功或错误状态、输出令牌数、Gateway TTFT、提供商处理时长、Gateway E2E、Phaseo 开销和成本。
6. 比较分布和失败模式，并将原始结果与测试配置一并保存。

结果 schema 示例：

```json theme={null}
{
  "study_id": "support-summary-v1",
  "model": "<verified-model-id>",
  "endpoint": "responses",
  "stream": true,
  "region": "<execution-region>",
  "request_id": "req_...",
  "gateway_ttft_ms": 0,
  "provider_duration_ms": 0,
  "gateway_e2e_ms": 0,
  "phaseo_overhead_ms": 0,
  "output_tokens": 0,
  "cost_usd": 0,
  "status": "completed"
}
```

这些零值只是占位符。只有在同时提供工作负载定义、样本数、时间窗口并获得数据披露许可时，才能发布测量值。

## Phaseo 不作出的承诺

* 模型出现在目录中并不代表它可以路由。请使用默认的有效可用性筛选条件。
* 公开运行遥测不能保证未来的延迟或正常运行时间。
* 基准测试分数无法证明模型在你的提示组合下具备生产级质量。
* 示意性的 UI 配置并非模型的实时测量结果。
* 未经许可且没有佐证材料，不应发布客户引言、徽标或工作负载结果。

## 后续步骤

<Columns cols={2}>
  <Card title="查看可靠性和状态" icon="shield-check" href="../developers/reliability-and-status.mdx">
    查看事件、模型当前的可路由状态、指标定义和故障排查信息。
  </Card>

  <Card title="比较模型" icon="scale" href="https://phaseo.app/compare">
    并排比较价格、元数据和可用的性能指标。
  </Card>

  <Card title="查看模型路由" icon="route" href="../api-reference/endpoint/model-endpoints.mdx">
    查看单个模型的提供商路由、功能、可用状态和价格。
  </Card>

  <Card title="查看基准测试方法" icon="microscope" href="../research/benchmark-methodology.mdx">
    了解基准测试来源和分数如何独立于 Gateway 遥测进行标准化。
  </Card>
</Columns>


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.