GET /v1/health 可以了解 Phaseo 是否正常,GET /v1/models 可以了解模型现在是否可路由,而你自己的测试运行可以告诉你某条路由是否达到你的可靠性目标。
检查当前服务状态
- 打开 Phaseo 状态页,查看当前事故和历史事故。
- 调用
GET /v1/health执行最基本的 Gateway 健康检查。 - 如果某个请求失败,请保留其 request ID,并先检查它的活动记录或生成记录,再判断是否整个服务都不可用。
公共状态页报告的是服务健康状况。Phaseo 目前不承诺具有合同约束力的公共正常运行时间 SLA。
确认模型是否可路由
Phaseo 目录收录的模型多于 Gateway 能路由的模型:目录中有某个条目,只表示 Phaseo 在跟踪该模型,并不代表存在公共路由。GET /v1/models 默认只返回当前可路由的模型:
availability=all 可同时看到即将推出和已停用的映射。只有当提供商行的 availability_status 为 active 且 is_active_gateway 为 true 时,才向它发送生产流量。模型页面上各状态图标的含义,请参阅提供商和 Phaseo 状态。
active 并不保证正常运行时间、在所有地区都能访问,也不保证每个工作区的商业条款都相同。
解读性能指标
Phaseo 的性能数据汇总的是经由 Gateway 路由的真实请求,而不是受控的实验室基准测试。
TTFT 和输出速度需要流式响应,且首个输出必须包含内容。非流式请求仍会计入耗时和有效吞吐量,但不计入 TTFT。
查看每个指标时,都要结合它的时间范围、路由、地区、流式模式和百分位数。提供商负载、提示词长度、输出长度、重试和网络状况都会改变结果。
完整定义请参阅价格与性能和 Phaseo 如何衡量延迟和吞吐量。
使用你的工作负载进行验证
公共指标只能指示大致方向,不能证明某条路由满足你的生产目标。上线前请运行一次小规模、可复现的测试:- 移除敏感的生产数据,并保留有代表性的提示词组合。
- 记录模型 ID、端点、提供商限制、地区、流式模式和并发数。
- 运行足够多次,以便比较分布,而不是只看单个请求。
- 记录成功率、Gateway TTFT、提供商耗时、Gateway E2E、输出 token 数和最终成本。
- 测试无效密钥、无效模型、速率限制和提供商不可用导致的失败。
- 保存 request ID 和准确的时间范围,以便其他工程师复现结果。
排查失败的请求
- 查看服务状态。
- 确认该模型仍出现在默认的
GET /v1/models响应中,并检查它的端点。 - 在错误与调试中查找 HTTP 状态和错误代码。
- 对暂时性的
429和5xx响应,采用有上限的指数退避重试;请参阅速率限制。 - 联系支持团队时,请提供 request ID。