लक्ष्य
- Python कॉलर को छोटा रखना
- कोड में मॉडल तय करने के बजाय प्रीसेट slug से रूट करना
- सख्त स्ट्रक्चर्ड आउटपुट माँगना
- रूटिंग या प्लगइन व्यवहार डीबग करने के लिए पर्याप्त रिस्पॉन्स मेटाडेटा रखना
1. एक साझा क्लाइंट से शुरू करें
2. स्थिर डिफ़ॉल्ट प्रीसेट में रखें
जब कई कॉलर के लिए ये चीज़ें स्थिर रखनी हों, तो डैशबोर्ड -> सेटिंग -> प्रीसेट में प्रीसेट बनाएँ:- सिस्टम प्रॉम्प्ट
- मॉडल या अनुमत मॉडल की सूची
- प्रोवाइडर प्राथमिकताएँ
- रीजनिंग कॉन्फ़िगरेशन
- temperature और संबंधित जनरेशन पैरामीटर
- नियतात्मक replay ज़रूरी होने पर रिस्पॉन्स कैशिंग नीति
3. एक सख्त JSON संरचना माँगें
presetरूटिंग और prompt डिफ़ॉल्ट को ऐप्लिकेशन कोड से बाहर रखता हैresponse_formatकॉन्ट्रैक्ट को स्पष्ट रखता है- workflow अनुमति दे तो
pluginsलगभग सही लेकिन गलत फ़ॉर्मैट वाले JSON को सुधार सकता है metaडीबगिंग के लिए रूटिंग और प्लगइन रन की जानकारी बचाए रखता है
4. JSON पार्स करें और ऑपरेशनल ID लॉग करें
- डैशबोर्ड में अनुरोध का विवरण डायलॉग
- रूटिंग डायग्नॉस्टिक्स
- प्लगइन रन मेटाडेटा
5. Override जोड़ने से पहले डीबग करें
अगर किसी अनुरोध की रूटिंग आपकी अपेक्षा से अलग हो:- अनुरोध को Gateway -> उपयोग में खोलें
- रूटिंग डायग्नॉस्टिक्स और उम्मीदवार प्रोवाइडर देखें
- स्ट्रक्चर्ड JSON होने पर प्लगइन रन मेटाडेटा जाँचें
- लॉग में वास्तविक नतीजा देखने के बाद ही प्रीसेट बदलें
6. नतीजे दोबारा इस्तेमाल करने हों तो कैश के अनुकूल रहें
अगर प्रीसेट रिस्पॉन्स कैशिंग चालू करता है:- prompt की भाषा स्थिर रखें
- रिस्पॉन्स स्कीमा स्थिर रखें
- प्रति अनुरोध अनावश्यक प्रोवाइडर overrides से बचें
- बार-बार बदलने वाली टूल सूची से बचें