429 पर त्रुटि कोड और reason पढ़कर जानें कि किस सीमा ने अनुरोध रोका, फिर Retry-After का इंतज़ार करें या सीमा बदलें। रूटिंग और फ़ॉलबैक प्रदाता विफलताओं को कम करते हैं, लेकिन कोई अनुरोध फिर भी किसी प्रदाता, या वर्कस्पेस या कुंजी की नीति से थ्रॉटल हो सकता है।
ये सभी
429 लौटाते हैं। अगर Gateway का कोटा लागू करना कुछ देर के लिए उपलब्ध नहीं है, तो Gateway इसके बजाय पुनः प्रयास के निर्देश के साथ 503 लौटाता है।
Gateway सीमाएँ
हर वर्कस्पेस में हर उपयोगकर्ता का एक प्रति-मिनट अनुरोध कोटा होता है, जो एक चलते हुए मिनट पर मापा जाता है। एक ही उपयोगकर्ता द्वारा बनाई गई API कुंजियां इसे साझा करती हैं। OAuth अनुरोध साइन-इन किए गए उपयोगकर्ता के खाते में गिने जाते हैं, और बिना मालिक वाली कुंजियां एक वर्कस्पेस कोटा साझा करती हैं। वर्कस्पेस के स्थापित होने के साथ कोटा अपने आप बढ़ता है। वर्कस्पेस को वह सबसे ऊंची पंक्ति मिलती है जिसके लिए वह योग्य है, और बदलाव कुछ मिनटों में लागू होते हैं:
मुफ़्त मॉडलों का डिफ़ॉल्ट रूप से प्रति UTC दिन 1,500 अनुरोधों का कोटा भी होता है। यह सभी मुफ़्त मॉडलों में, और उन सभी वर्कस्पेस में साझा होता है जिनमें वही उपयोगकर्ता अनुरोध भेजता है। सशुल्क-मॉडल अनुरोध इसका उपयोग नहीं करते। स्वीकार किया गया मुफ़्त अनुरोध तब भी गिना जाता है जब प्रदाता बाद में विफल हो जाए, और एक अनुरोध के भीतर प्रदाता फ़ॉलबैक एक बार गिने जाते हैं।
दोनों सीमाएं सभी Gateway क्षेत्रों में लागू होती हैं और किसी खास उपयोगकर्ता और वर्कस्पेस के लिए बढ़ाई जा सकती हैं। फ़ाइल ऑपरेशन और जॉब-स्थिति पोलिंग प्रति-मिनट कोटा इस्तेमाल करते हैं; मैनेजमेंट एंडपॉइंट नहीं करते।
अस्वीकृत अनुरोध सेकंड में
Retry-After के साथ 429 लौटाता है। दोबारा कोशिश करने से पहले उतना इंतज़ार करें।
मैनेजमेंट API सीमाएँ
/v1/keys, /v1/logs और /v1/analytics जैसे मैनेजमेंट एंडपॉइंट हर क्रेडेंशियल के लिए प्रति मिनट 200 यूनिट का कोटा साझा करते हैं। हर मैनेजमेंट कुंजी, OAuth टोकन और डैशबोर्ड सत्र का अपना कोटा होता है, और बिना क्रेडेंशियल वाले अनुरोध हर IP पते के लिए एक कोटा साझा करते हैं। मॉडल, फ़ाइल, बैच और जॉब एंडपॉइंट इसका इस्तेमाल नहीं करते।
हर अनुरोध उतनी यूनिट इस्तेमाल करता है जितना काम वह करवाता है:
/v1/health और CORS प्रीफ़्लाइट अनुरोध मुफ़्त हैं। कोटा से ऊपर का अनुरोध rate_limit_exceeded, कारण management_api_rate_limit और Retry-After: 60 के साथ 429 लौटाता है। गिनती अनुमानित है और इन जवाबों में x-ratelimit-* हेडर नहीं होते, इसलिए बल्क स्क्रिप्ट को सीमा तक चलाने के बजाय समय में फैलाएं।
कुंजी सीमाएँ और बजट
किसी API कुंजी की दैनिक, साप्ताहिक या मासिक अनुरोध और खर्च सीमाएं, और वर्कस्पेस के बजट, पूरे होने परkey_limit_exceeded के साथ 429 लौटाते हैं। बॉडी में reason, limit_window और reset_at बताते हैं कि कौन-सी सीमा थी और उसकी अवधि कब रीसेट होती है, और Retry-After तब तक के सेकंड बताता है।
जब सीमा अपने आप रीसेट नहीं होती, जैसे आजीवन बजट या सॉफ़्ट-ब्लॉक की गई कुंजी, तो Retry-After नहीं होता। दोबारा कोशिश न करें: वर्कस्पेस बजट बढ़ाएं, कुंजी की सीमा बढ़ाएं, या कोई दूसरी कुंजी इस्तेमाल करें।
वर्कस्पेस के मालिक और एडमिन प्रबंधन कुंजी के साथ /v1/budgets API से या सेटिंग → बजट में बजट प्रबंधित करते हैं, जहां हर बजट का अब तक का खर्च, इस्तेमाल हुआ हिस्सा, अवधि का अनुमान और रीसेट का समय दिखता है। दैनिक, साप्ताहिक और मासिक बजट UTC सीमाओं पर रीसेट होते हैं: आधी रात, सोमवार 00:00 और महीने की 1 तारीख।
खर्च अलर्ट इन सीमाओं तक पहुंचने से पहले चेतावनी दे सकते हैं। ब्लॉक करने पर सेट किया गया खर्च नियम spend_rule_blocked के साथ 429 लौटाता है। यह यथासंभव आधार पर काम करता है और खर्च के सीमा पार करने के कुछ मिनट बाद शुरू होता है, इसलिए सटीक सीमाओं के लिए कुंजी सीमाएं और बजट इस्तेमाल करें। x-phaseo-spend-warning हेडर का मतलब है कि ब्लॉक हो सकता है।
विभाग बजट
मालिक और एडमिन विभाग बजटphaseo department-budgets, /v1/department-budgets API, सेटिंग → बजट, या Terraform प्रदाता के phaseo_department_budget संसाधन से प्रबंधित करते हैं। किसी विभाग के खर्च में वही कुंजियां और OAuth अनुरोध गिने जाते हैं जो विभाग रेट लिमिट में गिने जाते हैं।
जब कोई विभाग अपना दैनिक, साप्ताहिक या मासिक बजट इस्तेमाल कर लेता है, तो उसमें गिने जाने वाले API-कुंजी अनुरोध key_limit_exceeded और कारण department_daily_cost_budget_reached, department_weekly_cost_budget_reached या department_monthly_cost_budget_reached के साथ 429 लौटाते हैं। बॉडी में department_id और department_name विभाग की पहचान बताते हैं, और reset_at और Retry-After बताते हैं कि उसका बजट कब रीसेट होगा।
- अगर बजट जांच कुछ देर के लिए उपलब्ध नहीं है, तो अनुरोधों की अनुमति दी जाती है, इसलिए कोई विभाग थोड़े समय के लिए अपने बजट से ज़्यादा खर्च कर सकता है।
- मालिकों और एडमिन को बजट के लगभग 80% पर और फिर 100% पर मोबाइल पुश मिलता है। इन अलर्ट के लिए बजट हर 15 मिनट में जाँचे जाते हैं, इसलिए 100% अलर्ट आने से पहले ही अनुरोध अस्वीकार हो सकते हैं।
रेट लिमिट नीतियाँ
वर्कस्पेस एडमिन नाम वाली नीतियां बना सकते हैं जोrequests_per_minute, tokens_per_minute और concurrent_requests सेट करती हैं, और उन्हें कुंजियों, सदस्यों, विभागों या अंतिम उपयोगकर्ताओं को असाइन कर सकते हैं। इन्हें phaseo rate-limits policies और phaseo rate-limits assignments, /v1/rate-limits API, सेटिंग → रेट लिमिट, या Terraform प्रदाता के phaseo_rate_limit_policy और phaseo_rate_limit_assignment संसाधनों से प्रबंधित करें।
किसी विभाग में क्या गिना जाता है। किसी विभाग से जुड़ी कुंजी सिर्फ़ उसी विभाग में गिनी जाती है। कोई भी दूसरी कुंजी उसके निर्माता के हर विभाग में गिनी जाती है, और OAuth अनुरोध उनके उपयोगकर्ता के हर विभाग में गिने जाते हैं। विभाग ओवरराइड वाला सदस्य सिर्फ़ ओवरराइड वाले विभाग में गिना जाता है। ऐसी कुंजियों और OAuth अनुरोधों को सिर्फ़ व्यक्ति के प्राथमिक विभाग में गिनने के लिए, सेटिंग → सूचनाएँ में, या प्रबंधन कुंजी के साथ
PATCH /v1/notifications/settings में spend.department_attribution से विभाग एट्रिब्यूशन को primary पर सेट करें। विभाग बजट और खर्च नियम भी यही सेटिंग इस्तेमाल करते हैं।
जब कई नीतियां लागू होती हैं, तो हर एक गिनी जाती है और जो पहले समाप्त होती है वही अनुरोध अस्वीकार करती है। नीतियां Gateway सीमाओं के ऊपर लागू होती हैं। नीति में बदलाव लगभग एक मिनट में लागू होते हैं; डैशबोर्ड में या SCIM से किए गए विभाग सदस्यता बदलावों में लगभग पांच मिनट तक लग सकते हैं।
प्रति मिनट अनुरोध और टोकन
दोनों एक चलते हुए मिनट पर मापे जाते हैं।tokens_per_minute हर अनुरोध के पूरा होने पर उसके इनपुट और आउटपुट टोकन गिनता है, जिसमें टोकन इस्तेमाल करने वाले स्ट्रीम किए गए और विफल अनुरोध भी शामिल हैं। पिछले मिनट का उपयोग सीमा तक पहुंचते ही अनुरोध अस्वीकार किया जाता है, इसलिए पहले से चल रहे अनुरोध उपयोग को सीमा से आगे ले जा सकते हैं। एक अनुरोध के भीतर प्रदाता फ़ॉलबैक एक बार गिने जाते हैं।
अस्वीकृत अनुरोध rate_limit_exceeded, कारण policy_requests_per_minute या policy_tokens_per_minute, policy_id, limit_scope (key, member, department, workspace या end_user), और सेकंड में Retry-After के साथ 429 लौटाता है।
किसी नीति के दायरे में आने वाले अनुरोधों की प्रतिक्रियाओं में सबसे सख्त सीमा के हेडर होते हैं:
अस्वीकृत अनुरोध में सिर्फ़ उस सीमा के हेडर होते हैं जिसने उसे अस्वीकार किया। गिनती बैकग्राउंड में होती है, इसलिए
remaining अनुमानित है, और टोकन हेडर में अभी मौजूदा अनुरोध का अपना उपयोग शामिल नहीं होता।
समवर्ती अनुरोध
concurrent_requests तय करता है कि एक साथ कितने अनुरोध चल सकते हैं। कोई अनुरोध स्वीकार होने से लेकर उसकी प्रतिक्रिया पूरी भेजे जाने तक एक स्लॉट रखता है, जिसमें पूरी स्ट्रीम की गई प्रतिक्रिया भी शामिल है; अनुरोध के भीतर प्रदाता और मॉडल फ़ॉलबैक वही स्लॉट साझा करते हैं। जब हर स्लॉट इस्तेमाल में हो, तो अनुरोध कारण policy_concurrent_requests और Retry-After: 1 के साथ अस्वीकार होता है।
समवर्तिता सीमा की जांच नीति के काउंटर का इंतज़ार करती है, जिससे थोड़ी लेटेंसी जुड़ती है। जिस स्लॉट की रिलीज़ खो जाती है, वह 15 मिनट बाद अपने आप खाली हो जाता है। बैच और रियलटाइम सत्र सीमित नहीं होते, और वीडियो जनरेशन सिर्फ़ तब तक स्लॉट रखता है जब तक उसे शुरू करने वाला अनुरोध चल रहा हो।
सख्त नीतियाँ
डिफ़ॉल्ट रूप से नीति fail open होती है: अगर उसकी सीमाएं जांची नहीं जा सकतीं, तो अनुरोध की अनुमति दी जाती है। इसे सख्त बनाने के लिएfail_closed सेट करें। सख्त नीति अनुरोध और टोकन सीमाएं बैकग्राउंड के बजाय अनुरोध भेजे जाने से पहले जांचती है, जिससे वे सटीक होती हैं लेकिन लेटेंसी बढ़ती है। अगर दो सेकंड के भीतर इनकी जांच नहीं हो पाती, तो अनुरोध कारण policy_unavailable के साथ अस्वीकार होता है।
समवर्तिता और policy_unavailable अस्वीकृतियों में कोई x-ratelimit-* हेडर नहीं होता।
प्रदाता सीमाएँ
BYOK अनुरोध आपके प्रदाता खाते की सीमाएं इस्तेमाल करते हैं। प्रबंधित अनुरोध साझा प्रदाता क्षमता इस्तेमाल करते हैं, जो आपके वर्कस्पेस का कोटा नहीं है। जब प्रदाताRetry-After भेजता है, तो Phaseo उसका सत्यापित मान आगे भेजता है। BYOK प्रतिक्रियाओं में X-Phaseo-Upstream-RateLimit-* हेडर भी हो सकते हैं; प्रबंधित अनुरोधों में ये नहीं होते क्योंकि वे साझा क्षमता बताते हैं। दूसरे अपस्ट्रीम हेडर आगे नहीं भेजे जाते। प्रदाता के 429 कोड के लिए त्रुटि कोड देखें।
थ्रॉटल किया गया अनुरोध संभालें
- अस्थायी थ्रॉटलिंग और कॉन्फ़िगरेशन बदलाव मांगने वाली सीमा, बजट या नीति में फ़र्क करने के लिए त्रुटि कोड पढ़ें।
- मौजूद हो तो
Retry-Afterका पालन करें। यह सेकंड या HTTP तारीख हो सकता है; पुनः प्रयास शेड्यूल करने से पहले इसे सत्यापित करें। - वरना jitter और अधिकतम देरी के साथ exponential backoff इस्तेमाल करें।
- पुनः प्रयासों को प्रयासों की संख्या और कुल समय-सीमा से सीमित करें। दोबारा कोशिश से पहले छोड़े गए काम रद्द करें और हर विफल प्रतिक्रिया बॉडी रिलीज़ करें।
- थ्रॉटलिंग जारी रहे तो समवर्तिता कम करें।
429 दरें ट्रैक करें, और अनुरोध लॉग में फ़ॉलबैक की आवृत्ति जांचें। इनकी तुलना अपनी रूटिंग सेटिंग से करें, और BYOK ट्रैफ़िक के लिए अपने प्रदाता खाते के कोटा से। गार्डरेल नियंत्रित करते हैं कि कौन-सी कुंजियां कौन-से मॉडल और प्रदाता इस्तेमाल कर सकती हैं।