हर स्कोर क्या दर्ज करता है
हर बेंचमार्क की एक श्रेणी और एक सॉर्ट दिशा भी होती है। जिन बेंचमार्क में कम मान बेहतर होता है, जैसे त्रुटि दरें, उन्हें Phaseo सबसे कम स्कोर पहले रखकर रैंक करता है।
स्कोर की तुलना कैसे करें
Phaseo बेंचमार्क को एक साझा स्कोर में नहीं बदलता, इसलिए मॉडलों की तुलना एक ही बेंचमार्क और वैरिएंट पर करें, अलग-अलग बेंचमार्क के बीच नहीं। दो आँकड़ों को बराबर मानने से पहले वैरिएंट और स्व-रिपोर्टेड फ़्लैग जाँचें: एक ही मॉडल के लिए प्रदाता द्वारा रिपोर्ट किया गया स्कोर और स्वतंत्र रूप से मापा गया स्कोर अलग हो सकते हैं। बेंचमार्क स्कोर सिर्फ़ एक इनपुट है। लागत, लेटेंसी, विश्वसनीयता और मॉडल आपके अपने प्रॉम्प्ट को कैसे संभालता है, ये भी उतने ही मायने रखते हैं; मूल्य और प्रदर्शन इन्हें कवर करता है।बेंचमार्क पेज क्या दिखाता है
संयुक्त इंडेक्स, जैसे Artificial Analysis Intelligence Index और Epoch Capabilities Index, के अपने पेज हैं जिनमें प्रकाशक की रैंकिंग और वर्शन होते हैं।
बेंचमार्क श्रेणियाँ
अन्य श्रेणियों में ऑडियो, एम्बेडिंग, स्वास्थ्य सेवा, योजना और रचनात्मकता शामिल हैं।
स्कोर कहाँ से आते हैं
- मॉडल के डेवलपर के मॉडल कार्ड, तकनीकी रिपोर्ट और पेपर।
- बेंचमार्क आयोजकों के अपने परिणाम पेज।
- Artificial Analysis और Epoch AI से निर्धारित इम्पोर्ट।
- GitHub issues के ज़रिए कम्युनिटी रिपोर्ट, जिनकी प्रकाशन से पहले समीक्षा होती है।