429 और 5xx प्रतिक्रियाओं को एक्सपोनेंशियल बैकऑफ़ के साथ दोबारा आज़माना चाहिए।
चुनें कि प्रदाताओं को कैसे रैंक किया जाए
वर्कस्पेस डिफ़ॉल्ट डैशबोर्ड -> सेटिंग्स -> रूटिंग में,
phaseo settings update --routing-mode <mode> से, या PATCH /v1/settings पर routing_mode से सेट करें। एक अनुरोध के लिए provider.sort या routing.mode भेजें, या मॉडल ID में एक सफ़िक्स जोड़ें:
सफ़िक्स
routing.mode, provider.sort, और प्रीसेट व वर्कस्पेस मोड को ओवरराइड करता है। अनुमति सूचियाँ, क्षेत्र, गार्डरेल और कीमत की ऊपरी सीमाएँ फिर भी लागू होती हैं।
रूटिंग सेटिंग्स पेज पर beta और alpha चैनल टॉगल भी हैं, ताकि पूर्वावलोकन प्रदाताओं को ट्रैफ़िक तभी मिले जब आप ऑप्ट इन करें।
balanced मोड प्रदाताओं को कैसे रैंक करता है
टेक्स्ट अनुरोधों (Chat Completions, Responses और Messages) के लिएbalanced हर प्रदाता की प्रति सफल जवाब लागत का अनुमान लगाता है:
- टोकन: इस मॉडल के एक सामान्य अनुरोध की उस प्रदाता पर लागत, जिसमें मॉडल के मापे गए प्रॉम्प्ट और आउटपुट आकार और प्रदाता की मापी गई कैश-हिट दर का उपयोग होता है।
- प्रतीक्षा: पहले टोकन और पूरी प्रतिक्रिया तक का समय, जिसे मॉडल की प्रति सेकंड सामान्य कीमत पर डॉलर में बदला जाता है।
- विफलताएँ: कुल को प्रदाता की हाल की सफलता दर से भाग दिया जाता है, साथ में प्रदाता त्रुटियों के लिए एक दंड और रेट लिमिट के लिए एक छोटा दंड जोड़ा जाता है।
अनुरोध-स्तर मॉडल फ़ॉलबैक
फ़ॉलबैक मॉडलों कोmodels में सूचीबद्ध करें। Phaseo पहले model आज़माता है, फिर क्रम से हर एंट्री:
429, 500, 502, 503 या 504 पर खत्म हो। Phaseo बजट या मुफ़्त-मॉडल कोटा से आया 429 भी आगे बढ़ाता है, क्योंकि कोई दूसरा मॉडल बची हुई सीमा में फ़िट हो सकता है। ऐसा ही उस मॉडल के साथ होता है जिसे अब कोई प्रदाता सर्व नहीं करता, जैसे कोई रिटायर मॉडल।
क्या नहीं ले जाता। 400, 401, 402, 403, 404, 408, 413 और 422 जैसी क्लाइंट त्रुटियाँ तुरंत लौट आती हैं। पहले मॉडल के चलने से पहले की विफलताएँ भी, जैसे प्रमाणीकरण या API कुंजी की रेट लिमिट।
सूची के नियम:
modelज़रूरी है; सिर्फ़modelsभेजने पर400मिलता है।modelsमें 1 से 25 एंट्री होती हैं। दोहराव औरmodelकी कॉपी अनदेखी की जाती हैं।- एंट्री मॉडल ID, प्रदाता-योग्य ID या
@supportजैसे प्रीसेट हो सकती हैं। - हर प्रयास को उसके अपने अनुरोध के रूप में वैलिडेट किया जाता है (एंडपॉइंट, पैरामीटर, वर्कस्पेस मॉडल, गार्डरेल, प्रीसेट, कीमत, BYOK)। जो फ़ॉलबैक अनुरोध को सर्व नहीं कर सकता, उसे छोड़ दिया जाता है और लॉग किया जाता है; वह कभी उस त्रुटि की जगह नहीं लेता जो आपको वैसे मिलती। पहले किए जा चुके प्रयास जैसा ही प्रयास भी छोड़ दिया जाता है।
model फ़ील्ड उस मॉडल का नाम बताता है जिसने जवाब दिया, और उसका रूटिंग ट्रेस प्राथमिक अनुरोध ID, फ़ॉलबैक क्रम और हर पिछले प्रयास की सूची देता है।
स्ट्रीमिंग, वीडियो और संगीत। स्ट्रीम सिर्फ़ अपने पहले बाइट से पहले फ़ॉलबैक करती है; उसके बाद त्रुटियाँ स्ट्रीम में आती हैं। वीडियो और संगीत सिर्फ़ तब फ़ॉलबैक करते हैं जब जॉब सबमिट हो रहा हो।
दूसरे रूटिंग नियंत्रणों के साथ। जुड़े हुए डायनैमिक रूट के फ़ॉलबैक models पर प्राथमिकता रखते हैं, और रूट द्वारा चुना गया तय मॉडल हर प्रयास पर फिर भी लागू होता है। प्रीसेट जिस भी प्रयास में उपयोग होता है, उस पर अपनी शर्तें लागू करता है। phaseo/auto अपने फ़ॉलबैक खुद प्रबंधित करता है और उसे models के साथ नहीं जोड़ा जा सकता।
मल्टीपार्ट एंडपॉइंट दोहराए गए
models फ़ील्ड, models[] फ़ील्ड, या एक JSON ऐरे स्ट्रिंग स्वीकार करते हैं। रेट लिमिट और त्रुटियाँ भी देखें।
एक प्रदाता पिन करें
ठीक उसी प्रदाता का उपयोग करने के लिए मॉडल ID के आगे प्रदाता लगाएँ:baseten:google/gemma-4-26b-a4b:free में। प्रदाता-योग्य मॉडल ID पूरा सिंटैक्स और त्रुटियाँ बताता है।
सीमित करें कि कौन-से प्रदाता उपयोग हों
API कुंजियों से रूटिंग नियम जोड़ें
डायनैमिक रूट नियमों का एक फ़्लो है जो एक या ज़्यादा इन्फ़रेंस API कुंजियों से जुड़ा होता है। यह:- अनुरोध-बॉडी फ़ील्ड, हेडर, कस्टम
metadata, एंडपॉइंट, मॉडल या सत्र ID पर शाखाएँ बना सकता है - A/B टेस्ट और रोलआउट के लिए ट्रैफ़िक को प्रतिशत में बाँट सकता है
- प्रति कुंजी दैनिक, साप्ताहिक या मासिक अनुरोधों या लागत की सीमा लगा सकता है
- मॉडल, रूटिंग मोड, प्रदाता प्राथमिकता और फ़ॉलबैक मॉडल (अधिकतम आठ) बदल सकता है
- कैश-अवेयर और सत्र-अवेयर प्रदाता अफ़िनिटी चालू कर सकता है
/v1/routing/dynamic-routes API इस्तेमाल करें।
कस्टम मेटाडेटा OpenAI-संगत टेक्स्ट एंडपॉइंट पर अनुरोध बॉडी में जाता है:
बातचीत को एक प्रदाता पर रखें
टेक्स्ट जनरेशन के लिए कैश-अवेयर रूटिंग डिफ़ॉल्ट रूप से चालू है। जो अनुरोधprompt_cache_key या session_id भेजता है, या cache_control से कैशिंग में ऑप्ट इन करता है (टॉप-लेवल पर, provider_options.anthropic में, या किसी संदेश ब्लॉक या टूल पर cache_control या prompt_cache_breakpoint चिह्न के रूप में), वह उस प्रदाता और रूट पर पिन हो जाता है जिसने उसका पहला सफल अनुरोध सर्व किया था। दूसरे अनुरोध 15 मिनट के लिए तब पिन होते हैं जब कोई प्रदाता उसी शुरुआती कॉन्टेक्स्ट के लिए कैश रीड या राइट रिपोर्ट करता है, बशर्ते उस प्रदाता का कैश किया गया इनपुट उसके सामान्य इनपुट से सस्ता हो।
इसे एक अनुरोध के लिए
provider.cache_aware_routing: false से बंद करें, या कैश अफ़िनिटी रखते हुए सत्र को routing.session_affinity: false से अनदेखा करें:
रूटिंग निर्णय समझें
डैशबोर्ड -> सेटिंग्स -> उपयोग -> अनुरोध लॉग खोलें, कोई अनुरोध चुनें, और प्रदाता प्रतिक्रियाएँ के तहत रूटिंग अवलोकन खोलें। यह दिखाता है:- हर रैंक किया गया प्रदाता उसके अंतिम स्कोर के साथ, और कौन-से चुने गए और आज़माए गए
- रैंकिंग से पहले बाहर किए गए प्रदाता, कारण के साथ
- अपने रोलआउट या रूटिंग स्टेटस के कारण नीचे रैंक किए गए प्रदाता
- हर स्कोर के इनपुट, वेट, योगदान और गुणक
प्रदाता के अपटाइम के खिलाफ़ क्या गिना जाता है
भौगोलिक प्रतिबंध और रेट लिमिट अलग से ट्रैक किए जाते हैं, क्योंकि उनका मतलब यह नहीं कि प्रदाता डाउन है। प्रोडक्शन के लिए अनुरोध ID, स्टेटस कोड और मॉडल ID लॉग करें, ताकि आप विफलताओं को इन ट्रेस से मिला सकें।
रिटायर मॉडल
रिटायर मॉडल तब तक काम करता रहता है जब तक कोई प्रदाता उसे सर्व करता है। उसके बाद अनुरोध410 model_retired के साथ विफल होते हैं, जब तक वर्कस्पेस उन्हें रिटायर मॉडल रूटिंग से किसी विकल्प पर न भेजे। आपकी अपनी models सूची हमेशा पहले आज़माई जाती है। मॉडल डेप्रिकेशन और रिटायरमेंट देखें।
BYOK से जुड़ी बातें
के साथ, Phaseo अनुरोध को रूट और लॉग करता है जबकि आपका प्रदाता मॉडल उपयोग का बिल बनाता है।
हर कुंजी को उन्हीं मॉडलों और API कुंजियों तक सीमित रखें जिन्हें उसकी ज़रूरत है। किसी विफल BYOK अनुरोध को Phaseo क्रेडिट पर दोबारा आज़माने से रोकने के लिए डैशबोर्ड -> सेटिंग्स -> BYOK में फ़ॉलबैक बंद करें, या
PATCH /v1/settings पर byok_fallback_enabled प्रबंधन कुंजी के साथ सेट करें। कुंजियाँ उसी जगह से, या प्रबंधन कुंजी के साथ POST /v1/byok से जोड़ें।