FP8 وINT8 وINT4) مستوى الدقة.
يوضح أسلوب التكميم كيفية تطبيق مستوى الدقة هذا.
أهمية الأساليب
قد يختلف أداء نسختين منINT4 كثيرًا، لأن اختيار الأسلوب يؤثر في:
- الحفاظ على الدقة
- التوافق مع بيئة التشغيل
- تخطيط الذاكرة وأداء تقديم النماذج
- متطلبات المعايرة
عائلات الأساليب الشائعة
مثال على الأسلوب والتنسيق
INT4 هو مستوى الدقة المستهدف.يمثل
AWQ INT4 وGPTQ INT4 طريقتين مختلفتين لتحقيق هذا الهدف.
إرشادات عملية
- اختر أولًا بيئة تشغيل يمكنك نشرها والاعتماد عليها.
- رشّح عائلات الأساليب التي تدعمها بيئة التشغيل.
- اختبر عدة أساليب تكميم لمستوى الدقة المستهدف نفسه.
- سجّل أنماط الإخفاق، وليس متوسط نتائج الاختبارات فقط.
قائمة التحقق من التقييم
- صحة المخرجات المنظّمة
- دقة التعامل مع السياقات الطويلة
- موثوقية استدعاءات الأدوات
- سلوك السلامة والإشراف على المحتوى
- زمن الاستجابة عند الذيل تحت الحمل