اختيار استراتيجية التكميم

{
  "model": "meta/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "quantizations": ["FP8"]
  }
}

​

الخطوة 1: حدّد معايير النجاح

• حدّد عتبات الجودة (دقة المهمة ومعدلات النجاح وصلاحية المخرجات المنظّمة).
• حدّد أهداف زمن الاستجابة والتكلفة.
• حدّد أنماط الإخفاق غير المقبولة.

​

الخطوة 2: اختر خط أساس عالي الجودة

• جودة المخرجات
• زمن الاستجابة الوسيط وذي الذيل
• نمط استهلاك الرموز والتكلفة

​

الخطوة 3: اخفض الدقة تدريجيًا

1. FP8 or INT8
2. استخدم FP4 أو INT4 فقط عند الحاجة إلى خفض التكلفة أو زيادة معدل النقل.

​

الخطوة 4: قيّم أحمال العمل الفعلية

• مطالبات طويلة
• استدلال متعدد الخطوات
• استدعاء الأدوات
• الحالات الطرفية في تذاكر الدعم

​

الخطوة 5: حدّد الاختيار لكل نقطة نهاية أو حالة استخدام

• دعم العملاء واتخاذ القرارات الحساسة: دقة أعلى.
• التصنيف أو التلخيص بكميات كبيرة: قد تكون الدقة الأقل مقبولة.

​

نقاط بداية مقترحة

​

سياسة النشر

• هيّئ نموذجًا أو صيغة تكميم احتياطية.
• راقب تراجع الجودة بعد الإطلاق.
• أعد الاختبار عند تغيّر بيئة تشغيل المزوّد أو إصدار النموذج.