> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# बेंचमार्क पद्धति

> जानें कि Phaseo बेंचमार्क परिणाम कैसे एकत्र, सामान्यीकृत और प्रकाशित करता है।

बेंचमार्क मॉडल और प्रदाताओं की तुलना का आधार हैं। यह पेज बताता है कि डेटा प्लेटफ़ॉर्म तक कैसे पहुँचता है और हम एकरूपता कैसे बनाए रखते हैं।

***

## डेटा स्रोत

* **आधिकारिक रिलीज़** — प्रदाता घोषणाएँ, तकनीकी ब्लॉग और प्रेस सामग्री।
* **शैक्षणिक शोधपत्र** — समीक्षा किए गए शोधपत्र और पुनरुत्पादन योग्य परिणामों वाले arXiv प्रीप्रिंट।
* **कम्युनिटी सबमिशन** — Phaseo कम्युनिटी और साझेदारों के सत्यापित योगदान।

हर स्कोर स्वीकार करने से पहले उसके साथ सार्वजनिक संदर्भ या पुनरुत्पादन योग्य मूल्यांकन होना चाहिए।

***

## सामान्यीकरण

सभी मॉडलों की सटीक तुलना के लिए हम बेंचमार्क नाम, मेट्रिक और split का मानकीकरण करते हैं:

1. हर सबमिशन को आंतरिक benchmark ID से जोड़ें।
2. रिपोर्ट किए गए मेट्रिक को मानक पैमाने (जैसे प्रतिशत) में बदलें।
3. few-shot variants या custom evaluation harness जैसे अंतर दर्ज करें।
4. फ़ील्ड और मान-सीमाएँ उचित हैं या नहीं, यह जाँचने के लिए स्वचालित सत्यापन चलाएँ।

***

## अपडेट की आवृत्ति

* MMLU, GSM8K और HumanEval जैसे लोकप्रिय सूट के लिए साप्ताहिक।
* विशेष या उभरते बेंचमार्क के लिए मासिक।
* जब प्रदाता या कम्युनिटी सदस्य उच्च गुणवत्ता वाला मूल्यांकन भेजें, तब आवश्यकता के अनुसार।

बड़े अपडेट changelog में दर्ज होते हैं ताकि आप पुराने बदलाव देख सकें।

***

## पारदर्शिता और पुनरुत्पादन

| प्रथा | परिणाम |
| - | - |
| प्राथमिक स्रोत से लिंक | उपयोगकर्ता स्कोर जल्दी सत्यापित कर सकते हैं। |
| `last_updated` तारीख दर्ज करना | बताता है कि बेंचमार्क की समीक्षा कब आवश्यक हो सकती है। |
| मूल्यांकन सेटअप का दस्तावेज़ीकरण | prompt प्रारूप, context window और sampling स्पष्ट करता है। |
| मानवीय समीक्षा वाले स्कोर चिह्नित करना | मैन्युअल सत्यापन और स्वचालित पाइपलाइन में अंतर बताता है। |

***

## फ़ीडबैक प्रक्रिया

यदि आपको विसंगति या गुम डेटा दिखे:

1. [बेंचमार्क स्कोर जमा करें](./submitting-scores.mdx) में बताए प्रमाणों के साथ इश्यू खोलें।
2. इश्यू में समीक्षा के सवालों का उत्तर दें। रखरखावकर्ता सत्यापित सुधार डेटाबेस संपादक से प्रकाशित करते हैं।
3. बड़े शोध प्रस्तावों के समन्वय के लिए Discord पर संपर्क करें।

हम हर रिपोर्ट की समीक्षा करते हैं और बेंचमार्क सत्यापित होने तक स्थिति अपडेट देते हैं।


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.