2 में से पाठ 1 · 10 मिनट

प्रदाताओं के बीच रूट करें

प्रदाताओं को रैंक करें, सीमित करें या पिन करें, और उनके विफल होने पर फ़ॉलबैक मॉडल दें।

ज़्यादातर मॉडल कई प्रदाता चलाते हैं। हर अनुरोध के लिए Phaseo वे प्रदाता रखता है जिनकी आपके नियम अनुमति देते हैं, उन्हें रैंक करता है और सबसे अच्छे को कॉल करता है। अगर वह प्रदाता विफल होता है, तो अगले को आज़माता है। डिफ़ॉल्ट रैंकिंग, balanced, हर सफल जवाब की लागत को तौलती है।

इसे provider ऑब्जेक्ट से नियंत्रित करें (routing को उपनाम के रूप में भी स्वीकार किया जाता है):

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order पसंदीदा क्रम तय करता है; only और ignore प्रदाताओं को अनुमति देते या रोकते हैं।
  • sort price, latency या throughput के आधार पर रैंक करता है। मॉडल प्रत्यय :cheap, :fast और :nitro यही करते हैं और sort पर भारी पड़ते हैं।
  • max_price कीमत की ऊपरी सीमा तय करता है; required_execution_region, required_data_region और require_zero_data_retention सीमित करते हैं कि डेटा कहाँ और कैसे संभाला जाए।

बिना क्रॉस-प्रदाता फ़ॉलबैक के एक प्रदाता पिन करने के लिए, उसे मॉडल ID के आगे लगाएँ: baseten:thinking-machines/inkling-small। पूरे अनुरोध की क्षेत्रीय रूटिंग के लिए, टेक्स्ट अनुरोध eu.api.phaseo.app या us.api.phaseo.app पर भेजें।

दूसरे मॉडल पर फ़ॉलबैक के लिए, उन्हें models में दें। Phaseo पहले model आज़माता है, फिर क्रम से हर एंट्री, लेकिन सिर्फ़ तब जब पिछला मॉडल 429, 500, 502, 503 या 504 पर ख़त्म हो। 400, 401 या 402 जैसी त्रुटियाँ तुरंत लौट आती हैं। हर कोशिश का बिल अलग अनुरोध के रूप में बनता है, और जवाब का model फ़ील्ड बताता है कि किस मॉडल ने जवाब दिया। स्ट्रीम सिर्फ़ अपने पहले बाइट से पहले फ़ॉलबैक करती है।

अपनी समझ जाँचें

आप "model": "openai/gpt-6-astra" के साथ "models": ["anthropic/claude-sonnet-5.5"] भेजते हैं। पहला मॉडल 400 validation_error लौटाता है। क्या होता है?

इसे लागू करें

आपकी लीगल टीम कहती है कि ग्राहकों के प्रॉम्प्ट सिर्फ़ उन प्रदाताओं के पास जाएँ जो शून्य डेटा प्रतिधारण का पालन करते हैं, और ऐप को एक खास प्रदाता को कभी नहीं छूना चाहिए। आप एक ही प्रदाता पिन नहीं करना चाहते। आप क्या भेजेंगे?

जवाब दिखाएँ

सादी मॉडल ID रखें ताकि Phaseo अब भी प्रदाताओं के बीच फ़ॉलबैक कर सके, और "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] } जोड़ें। provider:model से पिन करने पर क्रॉस-प्रदाता फ़ॉलबैक बंद हो जाएगा, जो आप नहीं चाहते।

मुख्य बात

प्रदाताओं को रैंक और सीमित करने के लिए provider, एक को पिन करने के लिए provider: उपसर्ग, और दोबारा कोशिश लायक त्रुटियों पर दूसरे मॉडल पर जाने के लिए models इस्तेमाल करें।

संबंधित लिंक

प्रगति इसी ब्राउज़र में सेव होती है।

आखिरी बार जाँचा गया 17 नवंबर 2026