选择对你的工作负载最重要的指标
没有哪个单一分数能证明某个模型是所有工作负载的最佳选择。
比较价格
提供商价格表使用不同的单位:每个 token、每百万 token、每张图像、每秒、每分钟或每次请求。Phaseo 保留每个价格的原始单位,并在目录视图和价格计算器中把可比较的文本价格换算为每 100 万 token 的价格。 对于文本模型,如果存在输入、缓存输入、缓存写入、推理和输出计量项,请分别比较。媒体模型保留自己的计费单位;按秒计价的视频价格只能与其他按秒计价的价格比较。目录价格用于估算请求费用,并不是对每种负载的报价。提供商等级、地区优惠、批量定价、缓存行为和特定请求的计量项都会改变最终金额。
了解性能指标
Phaseo 会记录经由 Gateway 路由的请求的运行时序。
TTFT、输出速度、TPOT 和 ITL 需要流式响应,且首个输出必须包含内容。仅含元数据的流帧不计入。非流式响应仍会计入提供商耗时、Gateway E2E 和有效吞吐量,但不会虚构 TTFT。
Phaseo 开销是所选提供商调用之外的时间:Gateway 处理、路由工作、重试和网络影响。它因请求而异,因此应把它看作某个明确时间范围内的分布,而不是固定数值。
正确解读运行数据
性能页面汇总的是实时 Gateway 流量。它们是观测结果,而不是受控的基准测试运行,描述的是某条路由在一段时间内的表现,而不是模型本身。过去的延迟和正常运行时间不能保证未来的结果。 结果会因以下因素而变化:- 提供商和路由的选择
- Cloudflare 执行位置和网络路径
- 提供商排队或地区负载
- 提示词和输出长度
- 流式与非流式行为
- 重试、取消和工具调用
- 所选时间范围内的模型或提供商更新
运行可复现的工作负载研究
先用公开遥测数据缩小候选范围,再用你自己的提示词组合验证最终候选。- 从默认的
GET /v1/models响应中选出两到三个可路由的模型。 - 创建一组已脱敏的提示词,覆盖短、典型和长请求。
- 固定端点、地区、流式模式、提供商限制和并发数。
- 对每个提示词重复发送请求,而不是依赖单个样本。
- 记录 request ID、所选提供商、成功或错误、输出 token 数、Gateway TTFT、提供商耗时、Gateway E2E、Phaseo 开销和成本。
- 比较分布和失败模式,并将原始结果与测试配置一起保存。
GET /v1/models 响应开始。基准测试分数并不能证明模型在你的提示词组合上的质量;分数的来源方式(与 Gateway 遥测分开)见基准测试方法。要查看某个模型的所有提供商路由、能力和价格,请使用模型端点 API或比较。事故和故障排查请参阅可靠性与状态。