अनुरोध में क्या गिना जाता है
जब रीज़निंग आउटपुट सीमा खत्म कर दे
कोई रीज़निंग मॉडल जवाब देने से पहले पूरी आउटपुट सीमा खर्च कर सकता है। प्रतिक्रिया फिर भी HTTP200 होती है और उसमें जितनी रीज़निंग बनी वह होती है, बिना किसी गढ़े हुए जवाब के:
सामान्य रूप से रुकने पर अब भी
stop (Chat Completions) या completed (Responses) मिलता है। अगर आपको ये अक्सर दिखें, तो आउटपुट सीमा बढ़ाएँ या रीज़निंग प्रयास घटाएँ।
हर रूट के लिए बजट सेट करें
- हर तरह के अनुरोध के लिए अधिकतम इनपुट आकार सेट करें, जैसे सर्च जवाब या लंबा ड्राफ़्ट। एक ही सीमा हर एंडपॉइंट पर कॉपी न करें।
- उस तरह के अनुरोध से अपेक्षित सबसे लंबे जवाब के लिए आउटपुट में जगह छोड़ें।
- बड़े कॉन्टेक्स्ट को भेजने से पहले छोटा करें या उसका सारांश बनाएँ, उन अंशों से शुरू करते हुए जिनके अहम होने की संभावना सबसे कम है।
- आउटपुट में कटाव जाँचें, जैसे
finish_reason: "length"या अधूरा JSON, और ऐसा होने पर ज़्यादा जगह के साथ फिर से आज़माएँ। - समय के साथ हर प्रतिक्रिया के
usageमें टोकन संख्या ट्रैक करें, और प्रॉम्प्ट बदलने पर सीमाएँ समायोजित करें।