क्लाइंट बदलें
LLM_GATEWAY_* वेरिएबल को मैप करें या हटाएं, CI और होस्टिंग सेटिंग में भी। अगर ऐप @llmgateway/ai-sdk-provider उपयोग करता है, तो Vercel AI Gateway से माइग्रेट करना की तरह @phaseo/ai-sdk-provider पर जाएं।
मॉडल ID मैप करें
Phaseo की ID सूचीबद्ध करें और हर प्रोडक्शन मॉडल को उनसे जांचें:alibaba/<model> Phaseo ID नहीं है। हर ID को Phaseo के <org>/<model> से मैप करें, और प्रदाता पिन को provider.only या provider:org/model ID से बनाए रखें। gpt-4o जैसे बिना प्रीफ़िक्स वाले उपनामों का अनुवाद हर कॉल साइट पर नहीं, क्लाइंट सीमा पर एक फ़ंक्शन में करें।
गेटवे सुविधाएं मैप करें
टेस्ट करें और रोलआउट करें
अपने गोल्डन प्रॉम्प्ट दोनों गेटवे पर चलाएं और गुणवत्ता, लेटेंसी और लागत की तुलना करें। पहले एंडपॉइंट जांचें:PHASEO_API_KEYहर एनवायरनमेंट में सेट है;- हर प्रोडक्शन मॉडल ID मैप की गई है और सूची में है;
- स्टेजिंग में एक नॉन-स्ट्रीमिंग और एक स्ट्रीमिंग अनुरोध पास होता है;
- अमान्य-कुंजी और अमान्य-मॉडल त्रुटियां संभाली जाती हैं; उनकी बॉडी LLM Gateway से अलग हो सकती है;
- स्टेजिंग का कोई विफल अनुरोध
GET /v1/generationsसे वापस पाया जा सकता है; - साझा प्रॉम्प्ट और रूटिंग डिफ़ॉल्ट वहीं प्रीसेट में हैं जहां उन्हें होना चाहिए।