निर्णय से शुरुआत करें
जिस उपयोगकर्ता अनुभव को बनाए रखना है, उसके अनुरूप मेट्रिक चुनें।
कोई एक स्कोर यह साबित नहीं करता कि हर वर्कलोड के लिए वही मॉडल सबसे अच्छा है।
कीमतों की तुलना करें
प्रदाता की मूल्य-सूचियाँ अलग-अलग इकाइयों का उपयोग करती हैं: प्रति टोकन, प्रति दस लाख टोकन, प्रति इमेज, प्रति सेकंड, प्रति मिनट या प्रति अनुरोध। Phaseo मूल इकाई को बनाए रखता है और कैटलॉग तथा मूल्य कैलकुलेटर के लिए तुलनीय कीमतों को सामान्यीकृत करता है। टेक्स्ट मॉडल के लिए, उपलब्ध होने पर इनपुट, कैश्ड इनपुट, कैश लिखने, तर्क और आउटपुट के मीटर अलग-अलग तुलना करें। मीडिया मॉडल के लिए मूल बिलिंग इकाई दिखाएँ; वीडियो का प्रति सेकंड मूल्य टोकन मूल्य की तरह न दिखाएँ।कैटलॉग मूल्य अनुरोध लागत का अनुमान लगाने के लिए हैं, हर संभावित पेलोड की पक्की कीमत नहीं। प्रदाता स्तर, क्षेत्रीय ऑफ़र, बैच मूल्य, कैश व्यवहार और अनुरोध-विशिष्ट मीटर अंतिम राशि बदल सकते हैं।
प्रदर्शन मेट्रिक्स समझें
Phaseo Gateway के माध्यम से रूट किए गए अनुरोधों का परिचालन समय दर्ज करता है।
TTFT, आउटपुट गति, TPOT और ITL के लिए ऐसी स्ट्रीमिंग प्रतिक्रिया चाहिए जिसका पहला आउटपुट सामग्री रखता हो। केवल मेटाडेटा वाले स्ट्रीम फ़्रेम नहीं गिने जाते। बिना स्ट्रीमिंग वाली प्रतिक्रियाएँ भी प्रदाता अवधि, Gateway E2E और प्रभावी थ्रूपुट में योगदान दे सकती हैं; इनके लिए काल्पनिक TTFT नहीं जोड़ा जाता।
Phaseo ओवरहेड चुने गए प्रदाता कॉल के बाहर के समय को अलग करके दिखाता है। इसमें Gateway प्रोसेसिंग, रूटिंग, रीट्राई और नेटवर्क के प्रभाव शामिल हो सकते हैं। यह प्लेटफ़ॉर्म का कोई स्थिर मान नहीं है; इसे तय समयावधि के वितरण के रूप में पढ़ें।
परिचालन डेटा सही ढंग से पढ़ें
प्रदर्शन पेज लाइव Gateway ट्रैफ़िक का सार देते हैं। ये अवलोकन-आधारित माप हैं, नियंत्रित बेंचमार्क रन नहीं और न ही मॉडल के अंतर्निहित गुण। इन कारणों से नतीजे बदल सकते हैं:- प्रदाता और रूट का चयन
- Cloudflare के निष्पादन स्थान और नेटवर्क पथ
- प्रदाता की कतार या क्षेत्रीय लोड
- प्रॉम्प्ट और आउटपुट की लंबाई
- स्ट्रीमिंग बनाम नॉन-स्ट्रीमिंग व्यवहार
- रीट्राई, रद्दीकरण और टूल कॉल
- चुनी गई अवधि के दौरान मॉडल या प्रदाता के अपडेट
दोहराए जा सकने वाला वर्कलोड अध्ययन चलाएँ
उम्मीदवार कम करने के लिए सार्वजनिक टेलीमेट्री का उपयोग करें, फिर अपने प्रॉम्प्ट मिश्रण से अंतिम विकल्पों को सत्यापित करें।- डिफ़ॉल्ट
GET /v1/modelsप्रतिक्रिया से दो या तीन रूट किए जा सकने वाले मॉडल चुनें। - छोटा, सामान्य और लंबा अनुरोध दर्शाने वाला साफ़ किया हुआ प्रॉम्प्ट सेट बनाएँ।
- endpoint, क्षेत्र, स्ट्रीमिंग मोड, प्रदाता की सीमाएँ और समांतरता तय करें।
- एक नमूने पर निर्भर रहने के बजाय हर प्रॉम्प्ट के लिए बार-बार अनुरोध चलाएँ।
- अनुरोध ID, चुना गया प्रदाता, सफलता या त्रुटि, आउटपुट टोकन, Gateway TTFT, प्रदाता अवधि, Gateway E2E, Phaseo ओवरहेड और लागत दर्ज करें।
- वितरण और विफलता के प्रकारों की तुलना करें, फिर कच्चे नतीजे टेस्ट कॉन्फ़िगरेशन के साथ सहेजें।
Phaseo क्या दावा नहीं करता
- कैटलॉग में मॉडल होने का अर्थ यह नहीं कि उसे रूट किया जा सकता है। डिफ़ॉल्ट सक्रिय उपलब्धता फ़िल्टर का उपयोग करें।
- सार्वजनिक परिचालन टेलीमेट्री भविष्य की लेटेंसी या अपटाइम की गारंटी नहीं देती।
- आपके प्रॉम्प्ट मिश्रण के लिए बेंचमार्क स्कोर से प्रोडक्शन गुणवत्ता सिद्ध नहीं होती।
- उदाहरण के लिए दिखाया गया UI प्रोफ़ाइल मॉडल का लाइव माप नहीं है।
- अनुमति और सहायक साक्ष्य के बिना ग्राहक का उद्धरण, लोगो या वर्कलोड परिणाम प्रकाशित न करें।
अगले चरण
विश्वसनीयता और स्थिति देखें
इंसिडेंट, मॉडल की मौजूदा रूटिंग उपलब्धता, मेट्रिक की परिभाषाएँ और विफलता जाँच देखें।
मॉडलों की तुलना करें
कीमतों, मेटाडेटा और उपलब्ध प्रदर्शन संकेतकों की साथ-साथ तुलना करें।
मॉडल रूट देखें
एक मॉडल के लिए प्रदाता रूट, क्षमताएँ, उपलब्धता स्थिति और कीमत देखें।
बेंचमार्क कार्यप्रणाली की समीक्षा करें
जानें कि बेंचमार्क स्रोतों और स्कोर को Gateway टेलीमेट्री से अलग कैसे सामान्यीकृत किया जाता है।