在提供商之间路由
对提供商进行排序、限制或固定,并列出它们失败时使用的回退模型。
大多数模型由多个提供商提供。对于每个请求,Phaseo 会保留你的规则允许的提供商,对它们排序,然后调用最佳的那个。如果它失败,就尝试下一个。默认排序方式 balanced 以每个成功回答的成本为依据。
用 provider 对象调整这一过程(也可以使用别名 routing):
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
order设置优先顺序;only和ignore用于允许或屏蔽提供商。sort按price、latency或throughput排序。模型后缀:cheap、:fast和:nitro作用相同,并且优先于sort。max_price设置价格上限;required_execution_region、required_data_region和require_zero_data_retention限制数据在哪里、以何种方式被处理。
要固定使用某一个提供商且不在提供商之间回退,把它放在模型 ID 前面:baseten:thinking-machines/inkling-small。如果要让整个请求按区域路由,改为把文本请求发送到 eu.api.phaseo.app 或 us.api.phaseo.app。
要回退到其他模型,把它们列在 models 中。Phaseo 先尝试 model,然后按顺序尝试每一项,但只有在前一个模型以 429、500、502、503 或 504 结束时才会这样做。400、401 或 402 等错误会直接返回。每次尝试都作为单独的请求计费,响应中的 model 字段会指出作答的模型。流只在发出第一个字节之前才会回退。
检验你的理解
你发送了 "model": "openai/gpt-6-astra" 和 "models": ["anthropic/claude-sonnet-5.5"]。第一个模型返回 400 validation_error。会发生什么?
学以致用
法务团队要求客户的提示词只能发送给满足零数据保留的提供商,并且应用绝不能使用某个特定的提供商。你不想固定使用单一提供商。你应该发送什么?
显示答案隐藏答案
保留普通的模型 ID,这样 Phaseo 仍能在提供商之间回退,并添加 "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }。用 provider:model 固定提供商会关闭跨提供商回退,这不是你想要的。
要点
provider 对提供商排序和限制,用 provider: 前缀固定某个提供商,用 models 在可重试错误时回退到其他模型。相关链接
最后核对于 2026年11月17日