मुख्य सामग्री पर जाएं
विविधता बनाम दोहराव-योग्यता, और लंबाई बनाम लागत के बीच संतुलन के लिए हर अनुरोध पर temperature, top_p और एक आउटपुट सीमा सेट करें। मॉडल का क्वांटाइज़ेशन गुणवत्ता की ऊपरी सीमा तय करता है; ये पैरामीटर तय करते हैं कि उस सीमा के भीतर मॉडल हर अगला टोकन कैसे चुनता है।
यह पेज बताता है कि हर नियंत्रण क्या करता है और कहाँ से शुरू करें। हर एंडपॉइंट पर हर फ़ील्ड का प्रकार, स्वीकार्य मान और डिफ़ॉल्ट जानने के लिए पैरामीटर संदर्भ देखें।

रैंडमनेस नियंत्रित करें

temperature और top_p दोनों रैंडमनेस बदलते हैं, इसलिए एक बार में एक ही ट्यून करें। ज़्यादा रैंडमनेस वाला लो-बिट क्वांटाइज़्ड मॉडल आउटपुट को काफ़ी कम स्थिर बना सकता है।

दोहराव कम करें

आउटपुट सीमित करें और रोकें

आउटपुट सीमा Chat Completions और Anthropic Messages पर max_tokens है, और Responses पर max_output_tokens। यह लागत और लेटेंसी को सीमित करती है; इसे बहुत कम सेट करने पर जवाब कट जाता है। finish_reason: "length" के साथ जल्दी रुकने वाली प्रतिक्रिया आउटपुट सीमा तक पहुँची है; यह मॉडल की विफलता नहीं है। stop ऐसे अनुक्रम लेता है जो आउटपुट खत्म करते हैं, जिससे आउटपुट को ढाँचे में रखना और पार्स करना आसान होता है। हर एंडपॉइंट के फ़ील्ड के लिए आउटपुट की लंबाई और रोकना देखें।

जब कोई प्रदाता किसी पैरामीटर को सपोर्ट न करे

हर प्रदाता top_k, seed, stop या पेनल्टी सपोर्ट नहीं करता। अगर अनुरोध पूरा करने वाला प्रदाता इसे सपोर्ट नहीं करता, तो Phaseo अनुरोध अस्वीकार करने के बजाय वह पैरामीटर हटा देता है, और उसे X-Phaseo-Dropped-Params प्रतिक्रिया हेडर में सूचीबद्ध करता है। आउटपुट सीमाएँ कभी नहीं हटाई जातीं। पूरी सूची के लिए असमर्थित पैरामीटर देखें।

इन मानों से शुरू करें

max_tokens को हर काम के अपेक्षित आउटपुट के हिसाब से तय करें, सब कुछ के लिए एक बड़ा मान नहीं। सब कुछ के लिए एक प्रोफ़ाइल के बजाय हर काम को अलग से ट्यून करें। रचनात्मक कामों के लिए रैंडमनेस धीरे-धीरे बढ़ाएँ और आउटपुट की ख़ुद समीक्षा करें।

गलत सेटिंग पहचानें

पैरामीटर ट्यून करें

1

पहले मॉडल और क्वांटाइज़ेशन चुनें

2

एक मूल्यांकन सेट तय करें

हर रन के लिए वही प्रॉम्प्ट इस्तेमाल करें ताकि नतीजों की तुलना हो सके।
3

एक बार में एक पैरामीटर बदलें

हर मान के लिए गुणवत्ता, लेटेंसी और टोकन उपयोग की तुलना करें।
4

हर काम के लिए नतीजा सेव करें

हर एंडपॉइंट या उपयोग के लिए अलग प्रीसेट रखें, ताकि कॉल करने वालों को ट्यून किए गए डिफ़ॉल्ट मिलें।
अंतिम संशोधन 5 नवंबर 2026