跳转到主要内容
比较模型在各提供商上的价格,以及它处理 Gateway 流量的速度,然后在迁移生产流量之前,用你自己的提示词验证最终候选。

选择对你的工作负载最重要的指标

没有哪个单一分数能证明某个模型是所有工作负载的最佳选择。

比较价格

提供商价格表使用不同的单位:每个 token、每百万 token、每张图像、每秒、每分钟或每次请求。Phaseo 保留每个价格的原始单位,并在目录视图和价格计算器中把可比较的文本价格换算为每 100 万 token 的价格。 对于文本模型,如果存在输入、缓存输入、缓存写入、推理和输出计量项,请分别比较。媒体模型保留自己的计费单位;按秒计价的视频价格只能与其他按秒计价的价格比较。
目录价格用于估算请求费用,并不是对每种负载的报价。提供商等级、地区优惠、批量定价、缓存行为和特定请求的计量项都会改变最终金额。
使用价格计算器估算有代表性的负载,然后在发送测试请求后,在 Gateway 使用记录中确认实际扣费金额。

了解性能指标

Phaseo 会记录经由 Gateway 路由的请求的运行时序。 TTFT、输出速度、TPOT 和 ITL 需要流式响应,且首个输出必须包含内容。仅含元数据的流帧不计入。非流式响应仍会计入提供商耗时、Gateway E2E 和有效吞吐量,但不会虚构 TTFT。 Phaseo 开销是所选提供商调用之外的时间:Gateway 处理、路由工作、重试和网络影响。它因请求而异,因此应把它看作某个明确时间范围内的分布,而不是固定数值。

正确解读运行数据

性能页面汇总的是实时 Gateway 流量。它们是观测结果,而不是受控的基准测试运行,描述的是某条路由在一段时间内的表现,而不是模型本身。过去的延迟和正常运行时间不能保证未来的结果。 结果会因以下因素而变化:
  • 提供商和路由的选择
  • Cloudflare 执行位置和网络路径
  • 提供商排队或地区负载
  • 提示词和输出长度
  • 流式与非流式行为
  • 重试、取消和工具调用
  • 所选时间范围内的模型或提供商更新
公开图表可能会展示 P50、P90、P95 和 P99 等百分位数。对于延迟,越低越好。对于吞吐量,越高越好,因此较低的吞吐量百分位数描述的是慢速尾部。 始终在结果旁边记录所选的时间范围、路由、地区、样本筛选条件和百分位数。不要把时间范围不同的两张截图当作同一项研究来比较。

运行可复现的工作负载研究

先用公开遥测数据缩小候选范围,再用你自己的提示词组合验证最终候选。
  1. 从默认的 GET /v1/models 响应中选出两到三个可路由的模型。
  2. 创建一组已脱敏的提示词,覆盖短、典型和长请求。
  3. 固定端点、地区、流式模式、提供商限制和并发数。
  4. 对每个提示词重复发送请求,而不是依赖单个样本。
  5. 记录 request ID、所选提供商、成功或错误、输出 token 数、Gateway TTFT、提供商耗时、Gateway E2E、Phaseo 开销和成本。
  6. 比较分布和失败模式,并将原始结果与测试配置一起保存。
示例结果结构:
这些零值只是占位符。只有附上工作负载定义、样本数量、时间范围,并获得披露数据的许可后,才能发布实测值。 目录中有条目并不代表模型可路由,因此请从默认的 GET /v1/models 响应开始。基准测试分数并不能证明模型在你的提示词组合上的质量;分数的来源方式(与 Gateway 遥测分开)见基准测试方法。要查看某个模型的所有提供商路由、能力和价格,请使用模型端点 API或比较。事故和故障排查请参阅可靠性与状态。
最后修改于 2026年11月5日