इंटीग्रेशन का ढाँचा बनाएँ
- Gateway कॉल को एक सेवा या SDK क्लाइंट में लपेटें, ताकि मॉडल या प्रदाता का बदलाव एक ही जगह रहे। Gateway इंटीग्रेशन देखें।
- चैट UI में प्रतिक्रियाएँ स्ट्रीम करें, ताकि उपयोगकर्ता टोकन आते ही देख सकें। स्ट्रीमिंग देखें।
- जो काम ज़रूरी नहीं है उसे कतार में डालें, जैसे बैकग्राउंड जनरेशन और मूल्यांकन, ताकि ट्रैफ़िक के उछाल समतल हों। Batch API बड़े जॉब एसिंक्रोनस रूप से चलाता है।
कुंजियाँ गुप्त रखें
- प्रोडक्शन में API कुंजियाँ
.envफ़ाइलों के बजाय सीक्रेट मैनेजर (AWS Secrets Manager, Doppler, 1Password) में रखें। - Gateway को अपने बैकएंड से कॉल करें, और अपने क्लाइंट ऐप को उससे प्रमाणित करें, ताकि क्लाइंट के पास कभी Gateway कुंजी न हो।
- किसी कुंजी का सिर्फ़ प्रीफ़िक्स लॉग करें, जैसे
phaseo_v1_sk_<kid>, सीक्रेट कभी नहीं।
सुरक्षित रूप से दोबारा कोशिश करें
429और5xxप्रतिक्रियाओं पर एक्सपोनेंशियल बैकऑफ़ और जिटर के साथ दोबारा कोशिश करें।- रेट-लिमिट वाले अनुरोध को दोबारा भेजने से पहले
Retry-Afterतक प्रतीक्षा करें। - अनुरोध लॉग में देखें कि हर अनुरोध किस प्रदाता ने सर्व किया, ताकि आपको पता चले जब ट्रैफ़िक किसी दूसरे प्रदाता पर फ़ेलओवर हो।
सही संकेतों पर नज़र रखें
अनुरोध लॉग और ऑब्ज़र्वेबिलिटी देखें। अपने प्रॉम्प्ट टेम्पलेट, पैरामीटर और आउटपुट संभालने का तरीका ऐसी जगह दस्तावेज़ित रखें जहाँ आपकी टीम उनकी समीक्षा कर सके; प्रीसेट साझा प्रॉम्प्ट और डिफ़ॉल्ट को एक जगह रखते हैं।