LLM Gateway से माइग्रेट करें

​

क्या बदलेगा

​

शुरू करने से पहले

• मौजूदा LLM Gateway endpoint और API कुंजी कॉन्फ़िगरेशन।
• स्थानीय, staging और production वातावरण में PHASEO_API_KEY।
• आउटपुट गुणवत्ता, विलंबता और त्रुटि दर के लिए आधार नमूना।

​

1) इंटीग्रेशन पॉइंट की सूची बनाएं

• LLM_GATEWAY_* पर्यावरण चर के उपयोग खोजें।
• रनटाइम कॉन्फ़िगरेशन में बेस URL के सभी संदर्भ ढूंढें।
• वर्तमान सक्रिय मॉडल ID और fallback श्रृंखलाएं दर्ज करें।
• साझा प्रॉम्प्ट डिफ़ॉल्ट, प्रोवाइडर अनुमति/अस्वीकृति नियम और पैरामीटर presets नोट करें जिन्हें Gateway presets में ले जाना चाहिए।

​

2) endpoint और क्रेडेंशियल बदलें

// Before
import OpenAI from "openai";

const before = new OpenAI({
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  baseURL: "https://api.llmgateway.io/v1",
});

// After
import OpenAI from "openai";

const after = new OpenAI({
  apiKey: process.env.PHASEO_API_KEY,
  baseURL: "https://api.phaseo.app/v1",
});

curl -s "https://api.phaseo.app/v1/chat/completions" \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role":"user","content":"Hello"}]
  }'

​

3) मॉडल संगतता सत्यापित करें

curl -s "https://api.phaseo.app/v1/models" \
  -H "Authorization: Bearer $PHASEO_API_KEY" | jq '.data | length'

​

4) LLMGateway माइग्रेशन चेकलिस्ट

• सभी LLM_GATEWAY_* चर मैप या हटा दिए गए हैं।
• बेस URL को https://api.phaseo.app/v1 पर अपडेट किया गया है।
• हर डिप्लॉयमेंट वातावरण में PHASEO_API_KEY कॉन्फ़िगर है।
• प्रोडक्शन मॉडल ID को /v1/models से सत्यापित किया गया है।
• staging में streaming और non-streaming अनुरोध सत्यापित किए गए हैं।
• अमान्य कुंजी और मॉडल की विफलता जांच फिर से की गई है।
• ज़रूरत पड़ने पर साझा prompt और routing डिफ़ॉल्ट presets में ले जाए गए हैं।
• GET /v1/generations?id=<request_id> से generation lookup दोबारा जांचे गए हैं, ताकि replay_supported=true होने पर संग्रहीत replay_request payload से विफल अनुरोध दोहराए जा सकें।

​

5) जांचें और रोल आउट करें

1. अपनी golden prompt suite चलाएं और गुणवत्ता, विलंबता तथा लागत की आधार रेखा से तुलना करें।
2. पुष्टि करें कि staging में विफल अनुरोध GET /v1/generations से मिले replay payload द्वारा वापस प्राप्त किए जा सकते हैं।
3. canary flag के पीछे रिलीज़ करें और स्थिर होने पर ट्रैफ़िक का हिस्सा धीरे-धीरे बढ़ाएं।
4. पुराना कॉन्फ़िगरेशन हटाने से पहले कम से कम एक रिलीज़ चक्र तक प्रोडक्शन मेट्रिक्स देखें।

​

सत्यापन कमांड

curl -s "https://api.phaseo.app/v1/health"
curl -s "https://api.phaseo.app/v1/models" -H "Authorization: Bearer $PHASEO_API_KEY"

• staging में एक non-streaming और एक streaming अनुरोध चलाएं।
• अपनी golden prompts दोहराएं और परिणामों की आधार रेखा से तुलना करें।

​

अगले चरण

• OpenRouter से माइग्रेट करें
• Vercel AI Gateway से माइग्रेट करें
• त्वरित शुरुआत