अपने वर्कलोड के लिए अहम मेट्रिक चुनें
कोई एक स्कोर यह साबित नहीं करता कि कोई मॉडल हर वर्कलोड के लिए सबसे अच्छा विकल्प है।
मूल्यों की तुलना करें
प्रदाता की मूल्य सूचियाँ अलग-अलग इकाइयाँ इस्तेमाल करती हैं: प्रति टोकन, प्रति 10 लाख टोकन, प्रति इमेज, प्रति सेकंड, प्रति मिनट या प्रति अनुरोध। Phaseo हर मूल्य को उसकी अपनी इकाई में रखता है और कैटलॉग व्यू और मूल्य कैलकुलेटर के लिए तुलना योग्य टेक्स्ट मूल्यों को प्रति 10 लाख टोकन में बदलता है। टेक्स्ट मॉडल के लिए, इनपुट, कैश्ड इनपुट, कैश राइट, रीज़निंग और आउटपुट मीटर मौजूद हों तो उनकी अलग-अलग तुलना करें। मीडिया मॉडल अपनी बिलिंग इकाई रखते हैं; प्रति सेकंड वीडियो मूल्य की तुलना सिर्फ़ दूसरे प्रति सेकंड मूल्यों से करें।कैटलॉग मूल्य एक अनुरोध का अनुमान है; यह हर पेलोड का कोटेशन नहीं है। प्रदाता टियर, क्षेत्रीय ऑफ़र, बैच मूल्य, कैश व्यवहार और अनुरोध-विशेष मीटर अंतिम राशि बदल देते हैं।
प्रदर्शन मेट्रिक्स समझें
Phaseo Gateway के ज़रिए रूट किए गए अनुरोधों का परिचालन समय दर्ज करता है।
TTFT, आउटपुट गति, TPOT और ITL के लिए ऐसी स्ट्रीमिंग प्रतिक्रिया चाहिए जिसका पहला आउटपुट कंटेंट वाला हो। सिर्फ़ मेटाडेटा वाले स्ट्रीम फ़्रेम नहीं गिने जाते। नॉन-स्ट्रीमिंग प्रतिक्रियाएँ फिर भी किसी गढ़े गए TTFT के बिना प्रदाता अवधि, Gateway E2E और प्रभावी थ्रूपुट में योगदान दे सकती हैं।
Phaseo ओवरहेड चुने गए प्रदाता कॉल के बाहर का समय है: Gateway प्रोसेसिंग, रूटिंग का काम, रीट्राई और नेटवर्क का असर। यह हर अनुरोध में अलग होता है, इसलिए इसे किसी तय समय-सीमा पर वितरण के रूप में पढ़ें, एक स्थिर संख्या के रूप में नहीं।
परिचालन डेटा सही ढंग से पढ़ें
प्रदर्शन पेज लाइव Gateway ट्रैफ़िक का सारांश देते हैं। ये अवलोकन हैं, नियंत्रित बेंचमार्क रन नहीं, और ये मॉडल के बजाय किसी समय-सीमा में एक रूट का वर्णन करते हैं। पिछली लेटेंसी और अपटाइम भविष्य के नतीजों की गारंटी नहीं देते। नतीजे इन कारणों से बदलते हैं:- प्रदाता और रूट का चुनाव
- Cloudflare एक्ज़ीक्यूशन स्थान और नेटवर्क पथ
- प्रदाता की कतार या क्षेत्रीय लोड
- प्रॉम्प्ट और आउटपुट की लंबाई
- स्ट्रीमिंग बनाम नॉन-स्ट्रीमिंग व्यवहार
- रीट्राई, रद्दीकरण और टूल कॉल
- चुनी गई समय-सीमा के दौरान मॉडल या प्रदाता अपडेट
दोहराने योग्य वर्कलोड अध्ययन चलाएँ
उम्मीदवारों को कम करने के लिए सार्वजनिक टेलीमेट्री इस्तेमाल करें, फिर अंतिम विकल्पों को अपने प्रॉम्प्ट मिश्रण से परखें।- डिफ़ॉल्ट
GET /v1/modelsप्रतिक्रिया से दो या तीन रूट करने योग्य मॉडल चुनें। - एक साफ़ किया हुआ प्रॉम्प्ट सेट बनाएँ जो छोटे, सामान्य और लंबे अनुरोधों का प्रतिनिधित्व करे।
- एंडपॉइंट, क्षेत्र, स्ट्रीमिंग मोड, प्रदाता प्रतिबंध और कंकरेंसी तय करें।
- एक सैंपल पर निर्भर रहने के बजाय हर प्रॉम्प्ट के लिए बार-बार अनुरोध चलाएँ।
- अनुरोध ID, चुना गया प्रदाता, सफलता या त्रुटि, आउटपुट टोकन, Gateway TTFT, प्रदाता अवधि, Gateway E2E, Phaseo ओवरहेड और लागत दर्ज करें।
- वितरणों और विफलता के तरीकों की तुलना करें, फिर कच्चे नतीजे टेस्ट कॉन्फ़िगरेशन के साथ रखें।
GET /v1/models प्रतिक्रिया से शुरू करें। बेंचमार्क स्कोर आपके प्रॉम्प्ट मिश्रण पर गुणवत्ता साबित नहीं करता; Gateway टेलीमेट्री से अलग, स्कोर कैसे जुटाए जाते हैं, इसके लिए बेंचमार्क पद्धति देखें। किसी एक मॉडल के हर प्रदाता रूट, क्षमता और मूल्य की जाँच के लिए model endpoints API या तुलना करें इस्तेमाल करें। घटनाओं और विफलता की जाँच के लिए विश्वसनीयता और स्थिति देखें।