openai/ प्रीफ़िक्स जुड़ता है।
क्लाइंट बदलें
API कुंजियाँ में कुंजी बनाएं, और उसे हर उस एनवायरनमेंट में जोड़ें जो ऐप चलाता है। फिर उसे और बेस URL को मौजूदा क्लाइंट में दें:OPENAI_API_KEY में रखने के बजाय नए वेरिएबल नाम का उपयोग करें, और पुराने OPENAI_BASE_URL मान हटाएं, ताकि रिपॉज़िटरी का कोई दूसरा क्लाइंट OpenAI को कॉल करता न रहे। AzureOpenAI क्लाइंट सादे OpenAI क्लाइंट पर जाते हैं; Azure डिप्लॉयमेंट नाम भी इसी तरह Phaseo मॉडल ID से मैप होते हैं।
मॉडल ID मैप करें
Phaseo जो ID सर्व करता है, उन्हें OpenAI के सूची फ़ॉर्मेट में सूचीबद्ध करें और हर प्रोडक्शन मॉडल कोdata[].id से जांचें:
format=openai के बिना प्रतिक्रिया Phaseo की पेज-वार models सूची होती है और उसमें कोई data ऐरे नहीं होता। यही client.models.list() पर भी लागू होता है: Node में { query: { format: "openai" } } या Python में extra_query={"format": "openai"} दें। डिफ़ॉल्ट सूची में सिर्फ़ वे मॉडल होते हैं जिन्हें आप अभी कॉल कर सकते हैं; निष्क्रिय और जल्द आने वाले मॉडल शामिल करने के लिए availability=all जोड़ें।
क्या अलग तरह से काम करता है
टेस्ट करें और रोलआउट करें
वही प्रतिनिधि प्रॉम्प्ट पुराने और नए कॉन्फ़िगरेशन पर चलाएं और आउटपुट आकार, लेटेंसी, टोकन उपयोग, त्रुटियों और लागत की तुलना करें। ट्रैफ़िक बदलने से पहले:- Phaseo कुंजी डेवलपमेंट, स्टेजिंग और प्रोडक्शन में सेट है;
- हर प्रोडक्शन मॉडल ID
GET /v1/models?format=openaiमें दिखती है; - स्टेजिंग में एक नॉन-स्ट्रीमिंग और एक स्ट्रीमिंग अनुरोध पास होता है, और ऐप उपयोग करता हो तो टूल कॉल और संरचित आउटपुट भी;
- रोलबैक अब भी सिर्फ़ बेस URL और कुंजी का बदलाव है।