第 1/2 节课 · 10 分钟

在提供商之间路由

对提供商进行排序、限制或固定,并列出它们失败时使用的回退模型。

大多数模型由多个提供商提供。对于每个请求,Phaseo 会保留你的规则允许的提供商,对它们排序,然后调用最佳的那个。如果它失败,就尝试下一个。默认排序方式 balanced 以每个成功回答的成本为依据。

用 provider 对象调整这一过程(也可以使用别名 routing):

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order 设置优先顺序;only 和 ignore 用于允许或屏蔽提供商。
  • sort 按 price、latency 或 throughput 排序。模型后缀 :cheap、:fast 和 :nitro 作用相同,并且优先于 sort。
  • max_price 设置价格上限;required_execution_region、required_data_region 和 require_zero_data_retention 限制数据在哪里、以何种方式被处理。

要固定使用某一个提供商且不在提供商之间回退,把它放在模型 ID 前面:baseten:thinking-machines/inkling-small。如果要让整个请求按区域路由,改为把文本请求发送到 eu.api.phaseo.app 或 us.api.phaseo.app。

要回退到其他模型,把它们列在 models 中。Phaseo 先尝试 model,然后按顺序尝试每一项,但只有在前一个模型以 429、500、502、503 或 504 结束时才会这样做。400、401 或 402 等错误会直接返回。每次尝试都作为单独的请求计费,响应中的 model 字段会指出作答的模型。流只在发出第一个字节之前才会回退。

检验你的理解

你发送了 "model": "openai/gpt-6-astra" 和 "models": ["anthropic/claude-sonnet-5.5"]。第一个模型返回 400 validation_error。会发生什么?

学以致用

法务团队要求客户的提示词只能发送给满足零数据保留的提供商,并且应用绝不能使用某个特定的提供商。你不想固定使用单一提供商。你应该发送什么?

显示答案

保留普通的模型 ID,这样 Phaseo 仍能在提供商之间回退,并添加 "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }。用 provider:model 固定提供商会关闭跨提供商回退,这不是你想要的。

要点

用 provider 对提供商排序和限制,用 provider: 前缀固定某个提供商,用 models 在可重试错误时回退到其他模型。

相关链接

进度保存在此浏览器中。

最后核对于 2026年11月17日