openai/ 前缀。
切换客户端
在 API 密钥中创建密钥,并添加到运行应用的每个环境中。然后把它和 base URL 传给现有客户端:OPENAI_API_KEY,并删除过时的 OPENAI_BASE_URL 值,避免仓库中其他客户端继续调用 OpenAI。AzureOpenAI 客户端改用普通的 OpenAI 客户端;Azure 部署名称也以同样方式映射到 Phaseo 模型 ID。
映射模型 ID
以 OpenAI 的列表格式列出 Phaseo 提供的 ID,并用data[].id 核对每个生产模型:
format=openai 时,响应是 Phaseo 的分页 models 列表,没有 data 数组。client.models.list() 也是如此:在 Node 中传入 { query: { format: "openai" } },在 Python 中传入 extra_query={"format": "openai"}。默认列表只包含现在可以调用的模型;添加 availability=all 可以包含未激活和即将推出的模型。
有哪些不同
测试并上线
用同一组有代表性的提示词分别调用旧配置和新配置,比较输出形状、延迟、token 用量、错误和成本。迁移流量之前确认:- 开发、预发布和生产环境都设置了 Phaseo 密钥;
- 每个生产模型 ID 都出现在
GET /v1/models?format=openai中; - 一个非流式请求和一个流式请求在预发布环境中通过;如果应用用到工具调用和结构化输出,它们也要通过;
- 回退仍然只需更改 base URL 和密钥。