बेंचमार्क मॉडल और प्रदाताओं की तुलना का आधार हैं। यह पेज बताता है कि डेटा प्लेटफ़ॉर्म तक कैसे पहुँचता है और हम एकरूपता कैसे बनाए रखते हैं।
डेटा स्रोत
- आधिकारिक रिलीज़ — प्रदाता घोषणाएँ, तकनीकी ब्लॉग और प्रेस सामग्री।
- शैक्षणिक शोधपत्र — समीक्षा किए गए शोधपत्र और पुनरुत्पादन योग्य परिणामों वाले arXiv प्रीप्रिंट।
- कम्युनिटी सबमिशन — Phaseo कम्युनिटी और साझेदारों के सत्यापित योगदान।
हर स्कोर स्वीकार करने से पहले उसके साथ सार्वजनिक संदर्भ या पुनरुत्पादन योग्य मूल्यांकन होना चाहिए।
सामान्यीकरण
सभी मॉडलों की सटीक तुलना के लिए हम बेंचमार्क नाम, मेट्रिक और split का मानकीकरण करते हैं:
- हर सबमिशन को आंतरिक benchmark ID से जोड़ें।
- रिपोर्ट किए गए मेट्रिक को मानक पैमाने (जैसे प्रतिशत) में बदलें।
- few-shot variants या custom evaluation harness जैसे अंतर दर्ज करें।
- फ़ील्ड और मान-सीमाएँ उचित हैं या नहीं, यह जाँचने के लिए स्वचालित सत्यापन चलाएँ।
अपडेट की आवृत्ति
- MMLU, GSM8K और HumanEval जैसे लोकप्रिय सूट के लिए साप्ताहिक।
- विशेष या उभरते बेंचमार्क के लिए मासिक।
- जब प्रदाता या कम्युनिटी सदस्य उच्च गुणवत्ता वाला मूल्यांकन भेजें, तब आवश्यकता के अनुसार।
बड़े अपडेट changelog में दर्ज होते हैं ताकि आप पुराने बदलाव देख सकें।
पारदर्शिता और पुनरुत्पादन
फ़ीडबैक प्रक्रिया
यदि आपको विसंगति या गुम डेटा दिखे:
- बेंचमार्क स्कोर जमा करें में बताए प्रमाणों के साथ इश्यू खोलें।
- इश्यू में समीक्षा के सवालों का उत्तर दें। रखरखावकर्ता सत्यापित सुधार डेटाबेस संपादक से प्रकाशित करते हैं।
- बड़े शोध प्रस्तावों के समन्वय के लिए Discord पर संपर्क करें।
हम हर रिपोर्ट की समीक्षा करते हैं और बेंचमार्क सत्यापित होने तक स्थिति अपडेट देते हैं। अंतिम संशोधन 2 अक्टूबर 2026
