从 LLM Gateway 迁移

​

变更内容

​

开始前

• 当前的 LLM Gateway 端点和 API 密钥配置。
• 在本地、预发布和生产环境中配置 PHASEO_API_KEY。
• 用于比较输出质量、延迟和错误率的基准样本。

​

1) 梳理集成位置

• 查找所有使用 LLM_GATEWAY_* 环境变量的位置。
• 找出运行时配置中的所有基础 URL 引用。
• 记录当前启用的模型 ID 和回退链。
• 记录应迁移到 Gateway 预设中的共享提示词默认值、提供商允许或拒绝规则以及参数预设。

​

2) 切换端点和凭据

// Before
import OpenAI from "openai";

const before = new OpenAI({
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  baseURL: "https://api.llmgateway.io/v1",
});

// After
import OpenAI from "openai";

const after = new OpenAI({
  apiKey: process.env.PHASEO_API_KEY,
  baseURL: "https://api.phaseo.app/v1",
});

curl -s "https://api.phaseo.app/v1/chat/completions" \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role":"user","content":"Hello"}]
  }'

​

3) 验证模型兼容性

curl -s "https://api.phaseo.app/v1/models" \
  -H "Authorization: Bearer $PHASEO_API_KEY" | jq '.data | length'

​

4) LLMGateway 迁移检查清单

• 已映射或移除所有 LLM_GATEWAY_* 环境变量。
• 基础 URL 已更新为 https://api.phaseo.app/v1。
• 已在所有部署环境中配置 PHASEO_API_KEY。
• 已通过 /v1/models 验证生产模型 ID。
• 已在预发布环境中验证一条非流式请求和一条流式请求。
• 已重新检查无效密钥和无效模型的错误处理。
• 已将适用的共享提示词和路由默认值移至预设。
• 已通过 GET /v1/generations?id=<request_id> 重新检查生成记录查询；当 replay_supported=true 时，可使用已保存的 replay_request 负载重放失败请求。

​

5) 验证并逐步发布

1. 运行基准提示词套件，并与基准值比较质量、延迟和费用。
2. 确认可以通过 GET /v1/generations 返回的重放负载恢复预发布环境中的失败请求。
3. 使用金丝雀开关发布，稳定后再逐步增加流量比例。
4. 至少观察一个发布周期的生产指标，再移除旧配置。

​

验证命令

curl -s "https://api.phaseo.app/v1/health"
curl -s "https://api.phaseo.app/v1/models" -H "Authorization: Bearer $PHASEO_API_KEY"

• 在预发布环境中分别运行一条非流式请求和一条流式请求。
• 重放基准提示词并与基准值比较。

​

后续步骤

• 从 OpenRouter 迁移
• 从 Vercel AI Gateway 迁移
• 快速入门