बेंचमार्क क्या हैं?
बेंचमार्क ऐसा डेटासेट या मूल्यांकन है जिसे किसी खास काम पर मॉडल का प्रदर्शन जाँचने के लिए बनाया गया है। एक ही डेटासेट पर कई मॉडल चलाकर उनकी सापेक्ष खूबियों और कमियों को मापा जा सकता है। आम उदाहरण:- 🧠 MMLU (Massive Multitask Language Understanding) — सामान्य ज्ञान और तर्क क्षमता जाँचता है।
- 🔢 GSM8K — गणितीय तर्क और समस्या-समाधान जाँचता है।
- 💬 HellaSwag — सामान्य समझ और संदर्भ की समझ जाँचता है।
- 🧮 ARC-Challenge — वैज्ञानिक तर्क और लॉजिक मापता है।
- 💡 HumanEval — प्रोग्रामिंग और कोड जनरेशन कौशल का आकलन करता है।
Phaseo बेंचमार्क को कैसे संभालता है
Phaseo कई सार्वजनिक स्रोतों और आधिकारिक रिपोर्टों से बेंचमार्क डेटा एकत्र करके उसे एक समान फ़ॉर्मेट में मानकीकृत करता है। हर मॉडल के बेंचमार्क अनुभाग में ये जानकारी होती है:- स्कोर मान — आमतौर पर प्रतिशत या सामान्यीकृत पैमाने में व्यक्त होता है।
- डेटासेट स्रोत — जैसे MMLU, GSM8K आदि।
- मूल्यांकन विधि — बताती है कि स्कोर कैसे प्राप्त किया गया (आधिकारिक रिपोर्ट, तृतीय-पक्ष मूल्यांकन या समुदाय का योगदान)।
- अंतिम अपडेट — बताता है कि बेंचमार्क डेटा आख़िरी बार कब रीफ़्रेश किया गया था।
बेंचमार्क पेज का उदाहरण
बेंचमार्क श्रेणियाँ
बेंचमार्क को जाँची जा रही क्षमता के अनुसार श्रेणियों में बाँटा गया है:स्कोर की व्याख्या कैसे करें
ध्यान रखें कि कुछ बेंचमार्क में अलग-अलग स्कोरिंग सिस्टम होते हैं।
तुलना को अधिक सार्थक बनाने के लिए Phaseo जहाँ संभव हो इन्हें सामान्यीकृत करता है।
Phaseo पर बेंचमार्क को विज़ुअलाइज़ करना
बेंचमार्क नतीजों को इन तरीकों से दिखाया जाता है:- 📊 एक ही डेटासेट के मॉडलों की तुलना के लिए बार चार्ट।
- 📈 समय के साथ मॉडल में सुधार दिखाने वाले ट्रेंड चार्ट।
- 🧮 कई डेटासेट में प्रदर्शन का सार देने वाले कुल स्कोर।
- मॉडल का प्रकार (chat, code, embedding आदि)
- प्रदाता
- रिलीज़ वर्ष
- डेटासेट की श्रेणी
डेटा स्रोत और कार्यप्रणाली
Phaseo इन स्रोतों से बेंचमार्क डेटा एकत्र करता है:- आधिकारिक शोध पत्र और मॉडल रिपोर्ट।
- प्रदाताओं के मूल्यांकन पेज (OpenAI Evals, Anthropic Reports आदि)।
- खुले समुदाय डेटासेट (जैसे Hugging Face लीडरबोर्ड)।
- GitHub के ज़रिए उपयोगकर्ताओं के सीधे सबमिशन।
उपयोग के उदाहरण
बेंचमार्क डेटा में योगदान करें
नए या सुधारे गए बेंचमार्क स्कोर के प्रमाण के साथ GitHub पर इश्यू खोलें। एकरूपता और सटीकता सुनिश्चित करने के लिए हर सबमिशन को शामिल करने से पहले जाँचा जाता है।बेंचमार्क डेटा में योगदान करें
जानें कि बेंचमार्क इश्यू में कौन से प्रमाण शामिल करने हैं।
अगले चरण
बेंचमार्क डेटा कैसे काम करता है, यह समझने के बाद आप उन API प्रदाताओं को देख सकते हैं जो प्रोग्राम के ज़रिए इन मॉडलों तक पहुँच देते हैं।API प्रदाता देखें
देखें कि मॉडल कहाँ और कैसे होस्ट किए जाते हैं, उनकी कीमत क्या है और उन तक पहुँच कैसे मिलती है।