ما المعايير؟
المعيار هو مجموعة بيانات أو تقييم صُمم لاختبار أداء نموذج في مهمة محددة. من خلال تشغيل نماذج متعددة على مجموعة البيانات نفسها، يمكننا قياس نقاط القوة والضعف النسبية لكل منها. من الأمثلة الشائعة:- 🧠 MMLU (Massive Multitask Language Understanding) — يختبر المعرفة العامة والاستدلال.
- 🔢 GSM8K — يختبر الاستدلال الرياضي وحل المشكلات.
- 💬 HellaSwag — يقيّم الفهم العام وفهم السياق.
- 🧮 ARC-Challenge — يقيس الاستدلال العلمي والمنطق.
- 💡 HumanEval — يقيّم مهارات البرمجة وتوليد الشيفرات.
كيف يتعامل Phaseo مع المعايير
يجمع Phaseo بيانات المعايير من مصادر عامة متعددة وتقارير رسمية، ثم يوحّدها في تنسيق متسق. يتضمن قسم المعايير لكل نموذج ما يلي:- قيمة النتيجة — تُعرض عادةً كنسبة مئوية أو على مقياس موحّد.
- مصدر مجموعة البيانات — مثل MMLU وGSM8K وغيرها.
- طريقة التقييم — توضح كيفية احتساب النتيجة (تقرير رسمي أو تقييم من جهة خارجية أو مساهمة من المجتمع).
- آخر تحديث — يوضح تاريخ آخر تحديث لبيانات المعيار.
مثال على صفحة معيار
فئات المعايير
تُقسَّم المعايير إلى فئات تمثل المهارة التي يجري اختبارها:كيفية تفسير النتائج
تذكّر أن بعض المعايير تستخدم أنظمة تسجيل مختلفة.
يوحّدها Phaseo متى أمكن لجعل المقارنات أكثر فائدة.
عرض المعايير بصريًا على Phaseo
تُعرض نتائج المعايير بصريًا باستخدام:- 📊 مخططات الأعمدة لمقارنة النماذج ضمن مجموعة البيانات نفسها.
- 📈 مخططات الاتجاهات التي تعرض تحسن النماذج بمرور الوقت.
- 🧮 النتائج المجمّعة لتلخيص الأداء عبر مجموعات بيانات متعددة.
- نوع النموذج (محادثة، أو شيفرة، أو تضمين، إلخ)
- مزود الخدمة
- سنة الإصدار
- فئة مجموعة البيانات
مصادر البيانات والمنهجية
يجمع Phaseo بيانات المعايير من:- أوراق بحثية وتقارير نماذج رسمية.
- مزود الخدمة التقييم (OpenAI Evals وAnthropic Reports وغيرها).
- مجموعات بيانات مجتمعية مفتوحة (مثل قوائم Hugging Face).
- مساهمات مباشرة من المستخدمين عبر GitHub.
أمثلة على حالات الاستخدام
المساهمة ببيانات المعايير
افتح مشكلة على GitHub مع أدلة لنتائج معايير جديدة أو مصححة. تُراجع كل مساهمة قبل إدراجها لضمان الاتساق والدقة.ساهم ببيانات المعايير
تعرّف على الأدلة التي يجب تضمينها في مشكلة معيار.
الخطوات التالية
بعد فهم آلية عمل بيانات المعايير، يمكنك استكشاف مزودي API الذين يتيحون استخدام هذه النماذج برمجيًا.استكشف مزودي API
اطّلع على أماكن استضافة النماذج وأسعارها وطرق الوصول إليها.