> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# कीमत और प्रदर्शन मापें

> प्रदाताओं की कीमतों और Gateway के परिचालन प्रदर्शन की तुलना करें, लेकिन अवलोकन संबंधी डेटा को नियंत्रित बेंचमार्क न मानें।

इस गाइड में रूट के बीच लागत और गति की तुलना करना, Phaseo के मेट्रिक्स समझना और प्रोडक्शन ट्रैफ़िक बदलने से पहले वर्कलोड अध्ययन तैयार करना बताया गया है।

## निर्णय से शुरुआत करें

जिस उपयोगकर्ता अनुभव को बनाए रखना है, उसके अनुरूप मेट्रिक चुनें।

| वर्कलोड | इससे शुरुआत करें | क्यों |
| - | - | - |
| चैट, कोपायलट और वॉइस | Gateway TTFT | उपयोगकर्ता ध्यान देते हैं कि उपयोगी आउटपुट कितनी जल्दी शुरू होता है। |
| लंबे उत्तर और कोड जनरेशन | Output speed | लंबे उत्तरों में लगातार जनरेशन की गति सबसे अधिक मायने रखती है। |
| टूल और संरचित वर्कफ़्लो | Gateway E2E | रूटिंग, रीट्राई और ऑर्केस्ट्रेशन पूरे परिणाम को प्रभावित करते हैं। |
| बैच या ऑफ़लाइन काम | लागत और प्रभावी थ्रूपुट | कुल थ्रूपुट और खर्च अधिक महत्वपूर्ण हों तो धीमी शुरुआत स्वीकार्य हो सकती है। |

कोई एक स्कोर यह साबित नहीं करता कि हर वर्कलोड के लिए वही मॉडल सबसे अच्छा है।

## कीमतों की तुलना करें

प्रदाता की मूल्य-सूचियाँ अलग-अलग इकाइयों का उपयोग करती हैं: प्रति टोकन, प्रति दस लाख टोकन, प्रति इमेज, प्रति सेकंड, प्रति मिनट या प्रति अनुरोध। Phaseo मूल इकाई को बनाए रखता है और कैटलॉग तथा मूल्य कैलकुलेटर के लिए तुलनीय कीमतों को सामान्यीकृत करता है।

टेक्स्ट मॉडल के लिए, उपलब्ध होने पर इनपुट, कैश्ड इनपुट, कैश लिखने, तर्क और आउटपुट के मीटर अलग-अलग तुलना करें। मीडिया मॉडल के लिए मूल बिलिंग इकाई दिखाएँ; वीडियो का प्रति सेकंड मूल्य टोकन मूल्य की तरह न दिखाएँ।

<Note>
  कैटलॉग मूल्य अनुरोध लागत का अनुमान लगाने के लिए हैं, हर संभावित पेलोड की पक्की कीमत नहीं। प्रदाता स्तर, क्षेत्रीय ऑफ़र, बैच मूल्य, कैश व्यवहार और अनुरोध-विशिष्ट मीटर अंतिम राशि बदल सकते हैं।
</Note>

उदाहरण पेलोड के लिए [मूल्य कैलकुलेटर](https://phaseo.app/tools/pricing-calculator) का उपयोग करें, फिर टेस्ट अनुरोध के बाद Gateway उपयोग में ली गई राशि की पुष्टि करें।

## प्रदर्शन मेट्रिक्स समझें

Phaseo Gateway के माध्यम से रूट किए गए अनुरोधों का परिचालन समय दर्ज करता है।

| मापदंड | परिभाषा |
| - | - |
| **Gateway TTFT** | Gateway अनुरोध शुरू होने से लेकर सामग्री वाला पहला जनरेटेड आउटपुट आने तक। |
| **Provider TTFT** | चुने गए प्रदाता को भेजने से लेकर सामग्री वाला पहला जनरेटेड आउटपुट आने तक। |
| **Provider duration** | चुने गए प्रदाता को भेजने से लेकर अंतिम प्रतिक्रिया तक। |
| **Gateway E2E** | Gateway अनुरोध शुरू होने से पूरा होने तक। |
| **Phaseo overhead** | `max(0, Gateway E2E - provider duration)`. |
| **Effective throughput** | आउटपुट टोकन की कुल संख्या को प्रदाता की पूरी अवधि से विभाजित किया जाता है। |
| **Output speed** | पहले टोकन के बाद के आउटपुट टोकन को TTFT के बाद प्रदाता समय से विभाजित किया जाता है। |
| **TPOT / ITL** | पहले आउटपुट के बाद हर टोकन का अनुरोध-स्तरीय औसत समय। |

TTFT, आउटपुट गति, TPOT और ITL के लिए ऐसी स्ट्रीमिंग प्रतिक्रिया चाहिए जिसका पहला आउटपुट सामग्री रखता हो। केवल मेटाडेटा वाले स्ट्रीम फ़्रेम नहीं गिने जाते। बिना स्ट्रीमिंग वाली प्रतिक्रियाएँ भी प्रदाता अवधि, Gateway E2E और प्रभावी थ्रूपुट में योगदान दे सकती हैं; इनके लिए काल्पनिक TTFT नहीं जोड़ा जाता।

Phaseo ओवरहेड चुने गए प्रदाता कॉल के बाहर के समय को अलग करके दिखाता है। इसमें Gateway प्रोसेसिंग, रूटिंग, रीट्राई और नेटवर्क के प्रभाव शामिल हो सकते हैं। यह प्लेटफ़ॉर्म का कोई स्थिर मान नहीं है; इसे तय समयावधि के वितरण के रूप में पढ़ें।

## परिचालन डेटा सही ढंग से पढ़ें

प्रदर्शन पेज लाइव Gateway ट्रैफ़िक का सार देते हैं। ये अवलोकन-आधारित माप हैं, नियंत्रित बेंचमार्क रन नहीं और न ही मॉडल के अंतर्निहित गुण।

इन कारणों से नतीजे बदल सकते हैं:

* प्रदाता और रूट का चयन
* Cloudflare के निष्पादन स्थान और नेटवर्क पथ
* प्रदाता की कतार या क्षेत्रीय लोड
* प्रॉम्प्ट और आउटपुट की लंबाई
* स्ट्रीमिंग बनाम नॉन-स्ट्रीमिंग व्यवहार
* रीट्राई, रद्दीकरण और टूल कॉल
* चुनी गई अवधि के दौरान मॉडल या प्रदाता के अपडेट

सार्वजनिक चार्ट में P50, P90, P95 और P99 जैसे पर्सेंटाइल दिख सकते हैं। लेटेंसी जितनी कम हो, उतना बेहतर। थ्रूपुट जितना अधिक हो, उतना बेहतर; इसलिए कम थ्रूपुट पर्सेंटाइल धीमे सिरे को दर्शाता है।

नतीजे के साथ चुनी गई समयावधि, रूट, क्षेत्र, सैंपल फ़िल्टर और पर्सेंटाइल हमेशा दर्ज करें। अलग-अलग समयावधि के स्क्रीनशॉट की तुलना ऐसे न करें जैसे वे एक ही अध्ययन के हों।

## दोहराए जा सकने वाला वर्कलोड अध्ययन चलाएँ

उम्मीदवार कम करने के लिए सार्वजनिक टेलीमेट्री का उपयोग करें, फिर अपने प्रॉम्प्ट मिश्रण से अंतिम विकल्पों को सत्यापित करें।

1. डिफ़ॉल्ट `GET /v1/models` प्रतिक्रिया से दो या तीन रूट किए जा सकने वाले मॉडल चुनें।
2. छोटा, सामान्य और लंबा अनुरोध दर्शाने वाला साफ़ किया हुआ प्रॉम्प्ट सेट बनाएँ।
3. endpoint, क्षेत्र, स्ट्रीमिंग मोड, प्रदाता की सीमाएँ और समांतरता तय करें।
4. एक नमूने पर निर्भर रहने के बजाय हर प्रॉम्प्ट के लिए बार-बार अनुरोध चलाएँ।
5. अनुरोध ID, चुना गया प्रदाता, सफलता या त्रुटि, आउटपुट टोकन, Gateway TTFT, प्रदाता अवधि, Gateway E2E, Phaseo ओवरहेड और लागत दर्ज करें।
6. वितरण और विफलता के प्रकारों की तुलना करें, फिर कच्चे नतीजे टेस्ट कॉन्फ़िगरेशन के साथ सहेजें।

परिणाम schema का उदाहरण:

```json theme={null}
{
  "study_id": "support-summary-v1",
  "model": "<verified-model-id>",
  "endpoint": "responses",
  "stream": true,
  "region": "<execution-region>",
  "request_id": "req_...",
  "gateway_ttft_ms": 0,
  "provider_duration_ms": 0,
  "gateway_e2e_ms": 0,
  "phaseo_overhead_ms": 0,
  "output_tokens": 0,
  "cost_usd": 0,
  "status": "completed"
}
```

शून्य मान प्लेसहोल्डर हैं। मापे गए मानों को तभी प्रकाशित करें जब वर्कलोड की परिभाषा, नमूनों की संख्या, समयावधि और डेटा साझा करने की अनुमति भी दी जाए।

## Phaseo क्या दावा नहीं करता

* कैटलॉग में मॉडल होने का अर्थ यह नहीं कि उसे रूट किया जा सकता है। डिफ़ॉल्ट सक्रिय उपलब्धता फ़िल्टर का उपयोग करें।
* सार्वजनिक परिचालन टेलीमेट्री भविष्य की लेटेंसी या अपटाइम की गारंटी नहीं देती।
* आपके प्रॉम्प्ट मिश्रण के लिए बेंचमार्क स्कोर से प्रोडक्शन गुणवत्ता सिद्ध नहीं होती।
* उदाहरण के लिए दिखाया गया UI प्रोफ़ाइल मॉडल का लाइव माप नहीं है।
* अनुमति और सहायक साक्ष्य के बिना ग्राहक का उद्धरण, लोगो या वर्कलोड परिणाम प्रकाशित न करें।

## अगले चरण

<Columns cols={2}>
  <Card title="विश्वसनीयता और स्थिति देखें" icon="shield-check" href="../developers/reliability-and-status.mdx">
    इंसिडेंट, मॉडल की मौजूदा रूटिंग उपलब्धता, मेट्रिक की परिभाषाएँ और विफलता जाँच देखें।
  </Card>

  <Card title="मॉडलों की तुलना करें" icon="scale" href="https://phaseo.app/compare">
    कीमतों, मेटाडेटा और उपलब्ध प्रदर्शन संकेतकों की साथ-साथ तुलना करें।
  </Card>

  <Card title="मॉडल रूट देखें" icon="route" href="../api-reference/endpoint/model-endpoints.mdx">
    एक मॉडल के लिए प्रदाता रूट, क्षमताएँ, उपलब्धता स्थिति और कीमत देखें।
  </Card>

  <Card title="बेंचमार्क कार्यप्रणाली की समीक्षा करें" icon="microscope" href="../research/benchmark-methodology.mdx">
    जानें कि बेंचमार्क स्रोतों और स्कोर को Gateway टेलीमेट्री से अलग कैसे सामान्यीकृत किया जाता है।
  </Card>
</Columns>


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.