स्कोर कहां से आते हैं
हर स्कोर को प्रकाशित होने से पहले एक सार्वजनिक स्रोत या दोहराया जा सकने वाला मूल्यांकन लॉग चाहिए।
सामान्यीकरण का मतलब
Phaseo हर बेंचमार्क को उसके अपने पैमाने पर रखता है। यह स्कोर को नहीं, स्कोर के आसपास के रिकॉर्ड को सामान्यीकृत करता है:- हर परिणाम को एक बेंचमार्क ID से मैप किया जाता है, ताकि अलग-अलग नामों वाला एक ही बेंचमार्क एक साथ समूहित हो।
- जब सेटअप अलग हो, जैसे few-shot संख्या, हार्नेस या रीज़निंग effort, तो उसे डिफ़ॉल्ट में मिलाने के बजाय एक वेरिएंट के रूप में रखा जाता है।
- हर बेंचमार्क की एक क्रम दिशा होती है। जिन बेंचमार्क में कम बेहतर है, जैसे त्रुटि दर, उनमें सबसे कम स्कोर पहले आता है।
- स्रोत लिंक और स्व-रिपोर्टेड फ़्लैग स्कोर के साथ रहते हैं।
किसी विसंगति की रिपोर्ट करें
- बेंचमार्क स्कोर सबमिट करें में बताए गए प्रमाण के साथ एक issue खोलें।
- issue में समीक्षा के सवालों के जवाब दें। मेंटेनर सत्यापित सुधार डेटाबेस एडिटर के ज़रिए प्रकाशित करते हैं।
- बड़े रिसर्च सबमिशन के लिए Discord में समन्वय करें।