मुख्य सामग्री पर जाएं
हर तरह के अनुरोध को एक इनपुट लक्ष्य और एक आउटपुट सीमा दें, फिर असली उपयोग को उनसे जाँचें। आप जो भी टोकन भेजते या पाते हैं, वह लेटेंसी और लागत बढ़ाता है, और बहुत छोटी आउटपुट सीमा जवाबों को बीच में काट देती है।

अनुरोध में क्या गिना जाता है

जब रीज़निंग आउटपुट सीमा खत्म कर दे

कोई रीज़निंग मॉडल जवाब देने से पहले पूरी आउटपुट सीमा खर्च कर सकता है। प्रतिक्रिया फिर भी HTTP 200 होती है और उसमें जितनी रीज़निंग बनी वह होती है, बिना किसी गढ़े हुए जवाब के: सामान्य रूप से रुकने पर अब भी stop (Chat Completions) या completed (Responses) मिलता है। अगर आपको ये अक्सर दिखें, तो आउटपुट सीमा बढ़ाएँ या रीज़निंग प्रयास घटाएँ।

हर रूट के लिए बजट सेट करें

  1. हर तरह के अनुरोध के लिए अधिकतम इनपुट आकार सेट करें, जैसे सर्च जवाब या लंबा ड्राफ़्ट। एक ही सीमा हर एंडपॉइंट पर कॉपी न करें।
  2. उस तरह के अनुरोध से अपेक्षित सबसे लंबे जवाब के लिए आउटपुट में जगह छोड़ें।
  3. बड़े कॉन्टेक्स्ट को भेजने से पहले छोटा करें या उसका सारांश बनाएँ, उन अंशों से शुरू करते हुए जिनके अहम होने की संभावना सबसे कम है।
  4. आउटपुट में कटाव जाँचें, जैसे finish_reason: "length" या अधूरा JSON, और ऐसा होने पर ज़्यादा जगह के साथ फिर से आज़माएँ।
  5. समय के साथ हर प्रतिक्रिया के usage में टोकन संख्या ट्रैक करें, और प्रॉम्प्ट बदलने पर सीमाएँ समायोजित करें।
आउटपुट सीमाएँ और सैंपलिंग आपस में कैसे काम करती हैं, इसके लिए इन्फ़रेंस पैरामीटर देखें।
अंतिम संशोधन 5 नवंबर 2026