मुख्य सामग्री पर जाएं
तुलना करें कि हर प्रदाता पर किसी मॉडल की लागत क्या है और उसने Gateway ट्रैफ़िक को कितनी तेज़ी से सर्व किया है, फिर प्रोडक्शन ट्रैफ़िक ले जाने से पहले अंतिम विकल्पों को अपने प्रॉम्प्ट से पक्का करें।

अपने वर्कलोड के लिए अहम मेट्रिक चुनें

कोई एक स्कोर यह साबित नहीं करता कि कोई मॉडल हर वर्कलोड के लिए सबसे अच्छा विकल्प है।

मूल्यों की तुलना करें

प्रदाता की मूल्य सूचियाँ अलग-अलग इकाइयाँ इस्तेमाल करती हैं: प्रति टोकन, प्रति 10 लाख टोकन, प्रति इमेज, प्रति सेकंड, प्रति मिनट या प्रति अनुरोध। Phaseo हर मूल्य को उसकी अपनी इकाई में रखता है और कैटलॉग व्यू और मूल्य कैलकुलेटर के लिए तुलना योग्य टेक्स्ट मूल्यों को प्रति 10 लाख टोकन में बदलता है। टेक्स्ट मॉडल के लिए, इनपुट, कैश्ड इनपुट, कैश राइट, रीज़निंग और आउटपुट मीटर मौजूद हों तो उनकी अलग-अलग तुलना करें। मीडिया मॉडल अपनी बिलिंग इकाई रखते हैं; प्रति सेकंड वीडियो मूल्य की तुलना सिर्फ़ दूसरे प्रति सेकंड मूल्यों से करें।
कैटलॉग मूल्य एक अनुरोध का अनुमान है; यह हर पेलोड का कोटेशन नहीं है। प्रदाता टियर, क्षेत्रीय ऑफ़र, बैच मूल्य, कैश व्यवहार और अनुरोध-विशेष मीटर अंतिम राशि बदल देते हैं।
किसी प्रतिनिधि पेलोड के लिए मूल्य कैलकुलेटर इस्तेमाल करें, फिर टेस्ट अनुरोध के बाद Gateway उपयोग में चार्ज की गई राशि पक्की करें।

प्रदर्शन मेट्रिक्स समझें

Phaseo Gateway के ज़रिए रूट किए गए अनुरोधों का परिचालन समय दर्ज करता है। TTFT, आउटपुट गति, TPOT और ITL के लिए ऐसी स्ट्रीमिंग प्रतिक्रिया चाहिए जिसका पहला आउटपुट कंटेंट वाला हो। सिर्फ़ मेटाडेटा वाले स्ट्रीम फ़्रेम नहीं गिने जाते। नॉन-स्ट्रीमिंग प्रतिक्रियाएँ फिर भी किसी गढ़े गए TTFT के बिना प्रदाता अवधि, Gateway E2E और प्रभावी थ्रूपुट में योगदान दे सकती हैं। Phaseo ओवरहेड चुने गए प्रदाता कॉल के बाहर का समय है: Gateway प्रोसेसिंग, रूटिंग का काम, रीट्राई और नेटवर्क का असर। यह हर अनुरोध में अलग होता है, इसलिए इसे किसी तय समय-सीमा पर वितरण के रूप में पढ़ें, एक स्थिर संख्या के रूप में नहीं।

परिचालन डेटा सही ढंग से पढ़ें

प्रदर्शन पेज लाइव Gateway ट्रैफ़िक का सारांश देते हैं। ये अवलोकन हैं, नियंत्रित बेंचमार्क रन नहीं, और ये मॉडल के बजाय किसी समय-सीमा में एक रूट का वर्णन करते हैं। पिछली लेटेंसी और अपटाइम भविष्य के नतीजों की गारंटी नहीं देते। नतीजे इन कारणों से बदलते हैं:
  • प्रदाता और रूट का चुनाव
  • Cloudflare एक्ज़ीक्यूशन स्थान और नेटवर्क पथ
  • प्रदाता की कतार या क्षेत्रीय लोड
  • प्रॉम्प्ट और आउटपुट की लंबाई
  • स्ट्रीमिंग बनाम नॉन-स्ट्रीमिंग व्यवहार
  • रीट्राई, रद्दीकरण और टूल कॉल
  • चुनी गई समय-सीमा के दौरान मॉडल या प्रदाता अपडेट
सार्वजनिक चार्ट P50, P90, P95 और P99 जैसे पर्सेंटाइल दिखा सकते हैं। लेटेंसी के लिए कम बेहतर है। थ्रूपुट के लिए ज़्यादा बेहतर है, इसलिए कम थ्रूपुट पर्सेंटाइल धीमे हिस्से (टेल) का वर्णन करता है। किसी भी नतीजे के साथ हमेशा चुनी गई समय-सीमा, रूट, क्षेत्र, सैंपल फ़िल्टर और पर्सेंटाइल दर्ज करें। अलग-अलग समय-सीमाओं वाले दो स्क्रीनशॉट की तुलना ऐसे न करें मानो वे एक ही अध्ययन हों।

दोहराने योग्य वर्कलोड अध्ययन चलाएँ

उम्मीदवारों को कम करने के लिए सार्वजनिक टेलीमेट्री इस्तेमाल करें, फिर अंतिम विकल्पों को अपने प्रॉम्प्ट मिश्रण से परखें।
  1. डिफ़ॉल्ट GET /v1/models प्रतिक्रिया से दो या तीन रूट करने योग्य मॉडल चुनें।
  2. एक साफ़ किया हुआ प्रॉम्प्ट सेट बनाएँ जो छोटे, सामान्य और लंबे अनुरोधों का प्रतिनिधित्व करे।
  3. एंडपॉइंट, क्षेत्र, स्ट्रीमिंग मोड, प्रदाता प्रतिबंध और कंकरेंसी तय करें।
  4. एक सैंपल पर निर्भर रहने के बजाय हर प्रॉम्प्ट के लिए बार-बार अनुरोध चलाएँ।
  5. अनुरोध ID, चुना गया प्रदाता, सफलता या त्रुटि, आउटपुट टोकन, Gateway TTFT, प्रदाता अवधि, Gateway E2E, Phaseo ओवरहेड और लागत दर्ज करें।
  6. वितरणों और विफलता के तरीकों की तुलना करें, फिर कच्चे नतीजे टेस्ट कॉन्फ़िगरेशन के साथ रखें।
नतीजे का उदाहरण स्कीमा:
शून्य मान प्लेसहोल्डर हैं। मापे गए मान सिर्फ़ वर्कलोड की परिभाषा, सैंपल संख्या, समय-सीमा और डेटा प्रकट करने की अनुमति के साथ प्रकाशित करें। कैटलॉग एंट्री का मतलब यह नहीं कि मॉडल रूट करने योग्य है, इसलिए डिफ़ॉल्ट GET /v1/models प्रतिक्रिया से शुरू करें। बेंचमार्क स्कोर आपके प्रॉम्प्ट मिश्रण पर गुणवत्ता साबित नहीं करता; Gateway टेलीमेट्री से अलग, स्कोर कैसे जुटाए जाते हैं, इसके लिए बेंचमार्क पद्धति देखें। किसी एक मॉडल के हर प्रदाता रूट, क्षमता और मूल्य की जाँच के लिए model endpoints API या तुलना करें इस्तेमाल करें। घटनाओं और विफलता की जाँच के लिए विश्वसनीयता और स्थिति देखें।
अंतिम संशोधन 5 नवंबर 2026