变更内容
1
梳理代理配置
列出当前 LiteLLM 部署使用的所有模型别名、回退项、提供商规则、重试策略、预算、回调和环境变量。区分哪些设置属于共享策略,哪些只适用于单个应用。
2
替换代理端点
保留兼容 OpenAI 的请求代码,只更改基础 URL 和密钥。
3
4
验证生产工作流
测试流式传输、工具、结构化输出、重试、错误映射,以及 LiteLLM 部署原先通过回调处理的可观测性。逐步切换流量前,比较延迟、输出、令牌用量和费用。
迁移检查清单
- 已梳理 LiteLLM 的 URL、密钥和部署依赖项。
- 每个生产模型和别名都已明确映射到 Phaseo。
- 共享默认值已移至预设或应用的单一边界。
- 在使用这些功能的情况下,流式传输、工具和结构化输出已在预发布环境通过。
- 必需的回调和遥测数据已有明确的替代方案。
- 回滚仍只需更改端点和密钥配置。