provider.sort,按 price、latency 或 throughput 对同一模型的提供商排序,而不是使用默认的均衡排序。完成后,你会得到用你所用语言编写的请求,并能在响应和日志中看到排序选中了哪个提供商。
这些请求结构可直接用于生产环境。选择提供商的排序方式介绍了工作区默认设置、routing.mode,以及 :cheap、:fast 和 :nitro 模型后缀。
发送排序请求
meta: true 会添加 meta.routing.selected_provider,即排序选中的提供商。
每种排序看重什么
排序改变的是提供商得分的权重;它不会去掉其他信号,因此不可靠的廉价提供商仍可能落选:
延迟和吞吐量来自 Phaseo 对每个提供商的最新测量。
在批准的范围内排序
当候选范围里只剩你能接受的提供商时,排序效果最好。添加only,排序就会在该范围内进行:
only、order 和 ignore。