लक्ष्य
- prompt और पैरामीटर के डिफ़ॉल्ट एकसमान करें।
- रोलआउट या अनुपालन सीमाओं के लिए इस्तेमाल किए जा सकने वाले प्रदाताओं को सीमित करें।
- अनुरोध के रूट होने का कारण समझाने के लिए पर्याप्त संदर्भ रखें।
1. प्रीसेट बनाएँ
डैशबोर्ड -> सेटिंग -> प्रीसेट में यह जानकारी देकर प्रीसेट बनाएँ:- स्पष्ट नाम और slug
- system prompt
- स्वीकृत मॉडल
- प्रदाता प्राथमिकताएँ
temperatureजैसे डिफ़ॉल्ट पैरामीटर मान
2. अनुरोध बॉडी छोटा रखें
प्रीसेट का मुख्य लाभ यह है कि कॉलर को हर अनुरोध में समान routing और prompt डिफ़ॉल्ट दोहराने की ज़रूरत नहीं होती।3. समझें कि प्रीसेट क्या बदलता है
प्रदाता रूटिंग से पहले प्रीसेट लागू होता है:- अनुरोध में मौजूद न होने वाले पैरामीटर प्रीसेट से भरे जाते हैं
- प्रीसेट prompt system layer के आगे जोड़ा जाता है
- प्रदाता की प्राथमिकताएँ रैंकिंग से पहले उपलब्ध प्रदाताओं की सूची सीमित करती हैं
- मॉडल प्रतिबंधों की शुरुआत में जाँच होती है; चुपचाप दूसरी रूट पर नहीं भेजा जाता
4. रूटिंग परिणाम डीबग करें
अनुरोध अपेक्षित तरीके से रूट न हो तो उसे Gateway -> Usage में खोलकर देखें:- विचार किए गए प्रदाता
- रैंक किए गए उम्मीदवार
- हर उम्मीदवार से जुड़े routing कारक
- workspace नीति या guardrail के कारण हुए ब्लॉक
- प्रदाता को क्यों छोड़ा गया
- अनुरोध क्यों ब्लॉक हुआ
- कम लागत या कम विलंबता वाला लक्ष्य रैंकिंग में क्यों जीता
5. परिचालन पैटर्न
रूटिंग व्यवहार बदलते समय यह रोलआउट पैटर्न अपनाएँ:- नई नीति के लिए नया प्रीसेट slug बनाएँ।
- कम जोखिम वाले एक कॉलर को नए प्रीसेट पर ले जाएँ।
- अनुरोध विवरण और गतिविधि रुझान देखें।
- रूटिंग परिणाम अपेक्षा के अनुरूप होने के बाद ही रोलआउट बढ़ाएँ।