3 में से पाठ 2 · 7 मिनट

टोकन और कॉन्टेक्स्ट

मॉडल टोकन पढ़ते और लिखते हैं, और आपका भेजा या पाया हर टोकन समय और लागत बढ़ाता है।

मॉडल शब्दों को आपकी तरह नहीं पढ़ते। वे टेक्स्ट को टोकन में बाँटते हैं: शब्दों के छोटे टुकड़े, पूरे छोटे शब्द, स्पेस और विराम चिह्न। एक लंबा शब्द कई टोकन का हो सकता है। सब कुछ टोकन में गिना जाता है, मॉडल कितना पढ़ सकता है इसकी सीमा से लेकर आपकी चुकाई जाने वाली कीमत तक।

कॉन्टेक्स्ट विंडो वह मात्रा है जो मॉडल एक बार में पढ़ सकता है। उसमें एक अनुरोध की हर चीज़ होती है: आपके निर्देश, अब तक की बातचीत, कोई दस्तावेज़ या सर्च नतीजे, टूल की परिभाषाएँ, और मॉडल का लिखा जवाब। हर प्रदाता रूट की अपनी कॉन्टेक्स्ट लंबाई होती है, जो मॉडल के पेज पर दिखती है।

इनपुट और आउटपुट टोकन अलग-अलग गिने जाते हैं:

प्रकारइसमें क्या आता है
इनपुटनिर्देश, आपके संदेश, दस्तावेज़, टूल की परिभाषाएँ
आउटपुटजवाब, और रीज़निंग मॉडल का सोचना

आउटपुट आम तौर पर प्रति टोकन इनपुट से महँगा होता है, क्योंकि मॉडल को हर आउटपुट टोकन एक-एक करके लिखना पड़ता है। Phaseo पर टेक्स्ट की कीमतें USD में प्रति 10 लाख टोकन दिखाई जाती हैं, इनपुट और आउटपुट की कीमतें अलग-अलग। हर जवाब का usage फ़ील्ड बताता है कि उसने कितने टोकन इस्तेमाल किए।

आउटपुट सीमाएँ जवाब को जल्दी रोक देती हैं। आप max_tokens (Chat Completions और Messages) या max_output_tokens (Responses) से आउटपुट की सीमा तय कर सकते हैं। इससे लागत और इंतज़ार कम रहता है। लेकिन अगर सीमा बहुत छोटी हो, तो जवाब कट जाता है और प्रतिक्रिया finish_reason: "length" के साथ ख़त्म होती है। यह मॉडल की विफलता नहीं है: सीमा बढ़ाएँ, या रीज़निंग प्रयास कम करें।

प्रॉम्प्ट कैशिंग दोहराए गए इनपुट को सस्ता बनाती है। अगर आपके प्रॉम्प्ट की शुरुआत अनुरोधों में एक जैसी रहती है, जैसे लंबे निर्देश या कोई संदर्भ दस्तावेज़, तो प्रदाता उसे अपने कैश से पढ़ सकता है। उन टोकन का बिल कम कैश-रीड दर पर बनता है, और पहला टोकन जल्दी आता है। ज़्यादातर प्रदाता दोहराई गई शुरुआत को अपने आप कैश करते हैं; Claude सिर्फ़ वही कैश करता है जिसे आप cache_control से चिह्नित करते हैं।

अपनी समझ जाँचें

एक जवाब वाक्य के बीच में रुक जाता है, और finish_reason का मान "length" है। क्या हुआ?

इसे लागू करें

आपका सपोर्ट बॉट हर अनुरोध की शुरुआत में वही 20 पेज का नीति दस्तावेज़ भेजता है, उसके बाद ग्राहक का सवाल। आपका बिल ज़्यादातर इनपुट टोकन का है। आप क्या कर सकते हैं?

जवाब दिखाएँ

नीति को प्रॉम्प्ट की शुरुआत में बिना बदलाव के रखें, ताकि प्रदाता उसे कैश कर सके। तब दोहराए गए इनपुट का बिल कैश-रीड दर पर बनता है और जवाब जल्दी शुरू होते हैं। Claude पर नीति के अंत को cache_control से चिह्नित करें। आप दस्तावेज़ को सिर्फ़ ज़रूरी हिस्सों तक छोटा भी कर सकते हैं।

मुख्य बात

सब कुछ टोकन में गिना जाता है: इनपुट और आउटपुट की कीमत प्रति 10 लाख अलग-अलग होती है, आउटपुट सीमाएँ जवाब छोटा कर सकती हैं, और कैशिंग दोहराए गए इनपुट को सस्ता बनाती है।

संबंधित लिंक

प्रगति इसी ब्राउज़र में सेव होती है।

आखिरी बार जाँचा गया 17 नवंबर 2026