मुख्य सामग्री पर जाएं
Gateway कॉल को अपने बैकएंड की एक सेवा के पीछे रखें, कुंजियों को क्लाइंट और लॉग से दूर रखें, सिर्फ़ वही दोबारा आज़माएँ जिसे दोबारा आज़माना सुरक्षित है, और हर मॉडल के लिए लेटेंसी, लागत और त्रुटियों पर नज़र रखें। नीचे का हर सेक्शन विवरण वाले पेज से लिंक करता है।

इंटीग्रेशन का ढाँचा बनाएँ

  • Gateway कॉल को एक सेवा या SDK क्लाइंट में लपेटें, ताकि मॉडल या प्रदाता का बदलाव एक ही जगह रहे। Gateway इंटीग्रेशन देखें।
  • चैट UI में प्रतिक्रियाएँ स्ट्रीम करें, ताकि उपयोगकर्ता टोकन आते ही देख सकें। स्ट्रीमिंग देखें।
  • जो काम ज़रूरी नहीं है उसे कतार में डालें, जैसे बैकग्राउंड जनरेशन और मूल्यांकन, ताकि ट्रैफ़िक के उछाल समतल हों। Batch API बड़े जॉब एसिंक्रोनस रूप से चलाता है।

कुंजियाँ गुप्त रखें

  • प्रोडक्शन में API कुंजियाँ .env फ़ाइलों के बजाय सीक्रेट मैनेजर (AWS Secrets Manager, Doppler, 1Password) में रखें।
  • Gateway को अपने बैकएंड से कॉल करें, और अपने क्लाइंट ऐप को उससे प्रमाणित करें, ताकि क्लाइंट के पास कभी Gateway कुंजी न हो।
  • किसी कुंजी का सिर्फ़ प्रीफ़िक्स लॉग करें, जैसे phaseo_v1_sk_<kid>, सीक्रेट कभी नहीं।
प्रमाणीकरण देखें।

सुरक्षित रूप से दोबारा कोशिश करें

  • 429 और 5xx प्रतिक्रियाओं पर एक्सपोनेंशियल बैकऑफ़ और जिटर के साथ दोबारा कोशिश करें।
  • रेट-लिमिट वाले अनुरोध को दोबारा भेजने से पहले Retry-After तक प्रतीक्षा करें।
  • अनुरोध लॉग में देखें कि हर अनुरोध किस प्रदाता ने सर्व किया, ताकि आपको पता चले जब ट्रैफ़िक किसी दूसरे प्रदाता पर फ़ेलओवर हो।
त्रुटियाँ और डीबगिंग और रेट लिमिट देखें।

सही संकेतों पर नज़र रखें

अनुरोध लॉग और ऑब्ज़र्वेबिलिटी देखें। अपने प्रॉम्प्ट टेम्पलेट, पैरामीटर और आउटपुट संभालने का तरीका ऐसी जगह दस्तावेज़ित रखें जहाँ आपकी टीम उनकी समीक्षा कर सके; प्रीसेट साझा प्रॉम्प्ट और डिफ़ॉल्ट को एक जगह रखते हैं।
अंतिम संशोधन 5 नवंबर 2026