يشرح هذا الدليل تنسيقات الدقة الشائعة في أنواع النماذج وبيئات تشغيل الاستدلال.
مرجع سريع
BF16 مقارنةً بـFP16
- يحتفظ
BF16 بنطاق أكبر للأسّ، ما يساعد على الثبات.
- ما يزال
FP16 شائعًا وغالبًا سريعًا، لكنه قد يكون أقل ثباتًا في بعض أعباء العمل.
- في مسارات الإنتاج الحساسة للجودة، يكون
BF16 غالبًا الخيار الافتراضي الأكثر أمانًا عند توفره.
FP8 وFP4
- يحقق
FP8 عادةً تحسنًا جيدًا في الكفاءة مع الحفاظ على جودة مناسبة لمهام كثيرة.
- يعزز
FP4 الكفاءة أكثر، لكن احتمال تراجع الجودة أعلى، خصوصًا في الاستدلال الدقيق والسياقات الطويلة والمخرجات المنظّمة الصارمة.
تنسيقات الأعداد الصحيحة (INT8 / INT4)
- غالبًا ما تُحسّن لزيادة إنتاجية الاستدلال وتقليل استخدام الذاكرة.
- تعتمد الجودة بدرجة كبيرة على أسلوب التكميم والمعايرة وبنية النموذج.
- عمومًا، يكون نشر
INT8 بأمان أسهل من INT4.
قراءة تسميات النماذج
قد تصادف تسميات مثل:
bf16, fp16, fp8, int8, q4, 4bit, 8bit
لا توجد تسمية موحدة بالكامل بين المزوّدين. تحقّق دائمًا من تفاصيل النوع المحدد في وثائق النموذج أو المزوّد. آخر تعديل في ٢ أكتوبر ٢٠٢٦
