الانتقال إلى المحتوى الرئيسي
أرسل provider.quantizations لتوجيه الطلب فقط إلى المزوّدين الذين يخدمون النموذج بالدقة التي اختبرتها:

​
ما الذي يغيّره التكميم

يخزّن التكميم أوزان النموذج بنوع رقمي أصغر. فيحتاج النموذج نفسه إلى ذاكرة أقل ويخدم أسرع، مقابل بعض التراجع في جودة المخرجات. يصف النموذجَ المكمَّم أمران: الصيغة (النوع الرقمي، مثل FP8 أو INT4) والطريقة (كيف حُوّلت الأوزان إليها، مثل AWQ أو GPTQ). كل تنصيف لعدد البتات ينصّف الذاكرة التي تحتاجها الأوزان. لنموذج بـ 70B معامل، تشغل الأوزان وحدها تقريبًا: هذه الأرقام حسابية (المعاملات × البايتات لكل وزن) ولا تشمل التفعيلات وذاكرة KV المؤقتة، اللتين يحتاج المزوّدون إلى ذاكرة لهما أيضًا.

​
قارن صيغ الدقة

صيغة الدقة هي النوع الرقمي الذي يستخدمه المزوّد لتخزين أوزان النموذج. تستخدم الدقة الأقل ذاكرة أقل وتخدم أسرع، مع خطر أعلى على جودة المخرجات.

​
BF16 أم FP16

كلاهما 16 بت. يحتفظ BF16 بنطاق أُسّي أكبر، فهو أكثر استقرارًا؛ أما FP16 فشائع وسريع لكنه أقل استقرارًا في بعض أحمال العمل. عندما يقدّم المزوّد BF16، فهو الخيار الأكثر أمانًا للحركة التي تكون الجودة فيها حاسمة.

​
FP8 وFP4

يمنح FP8 مكسبًا كبيرًا في الكفاءة ويحافظ على جودة قابلة للاستخدام في معظم المهام. يذهب FP4 أبعد، لكن الجودة تتراجع أكثر، خاصة في الاستدلال الدقيق والسياقات الطويلة والمخرجات المنظَّمة الصارمة.

​
INT8 وINT4

الصيغ الصحيحة مصممة لإنتاجية الاستدلال والذاكرة. يعتمد مدى حفاظها على الجودة على طريقة التكميم وبيانات المعايرة وبنية النموذج. نشر INT8 بأمان أسهل من INT4.

​
اقرأ تسمية النموذج

يسمّي المزوّدون المتغيرات bf16 وfp16 وfp8 وint8 وq4 و4bit و8bit وغيرها. التسمية ليست قياسية: قد يعني 4bit الصيغة FP4 أو INT4. راجع وثائق المزوّد لمعرفة المتغير بالضبط.

​
قارن طرق التكميم

الصيغة مثل INT4 هي هدف الدقة؛ والطريقة مثل AWQ أو GPTQ هي كيفية تحويل الأوزان إليها. يصل AWQ INT4 وGPTQ INT4 إلى الهدف نفسه بطريقتين مختلفتين، لذا قد يتصرفان بشكل مختلف جدًا. تؤثر الطريقة في مقدار الدقة الذي يبقى، وفي بيئات التشغيل التي يمكنها خدمة النموذج، وفي تخطيط الذاكرة وسرعة الخدمة، وفي ما إذا كانت هناك حاجة إلى بيانات معايرة. لمقارنة الطرق لحمل العمل الخاص بك:
  1. اختر بيئة التشغيل أولًا: تلك التي يمكنك نشرها بشكل موثوق.
  2. احتفظ فقط بعائلات الطرق التي تدعمها بيئة التشغيل تلك.
  3. قِس أداء عدة طرق عند هدف الدقة نفسه.
  4. تتبّع أنماط الفشل، لا متوسط درجات المقاييس فقط: صحة المخرجات المنظَّمة، والأمانة في السياقات الطويلة، وموثوقية استدعاء الأدوات، وسلوك السلامة والإشراف، وزمن الاستجابة في الأطراف تحت الحمل.

​
وجّه إلى دقة واحدة

يفحص عامل التصفية provider.quantizations عرض كل مزوّد للنموذج، لا اسم المزوّد فقط:
  • تتجاهل المطابقة حالة الأحرف والمسافات و- و_. تتطابق أيضًا الأسماء البديلة غير الملتبسة: bfloat16 لـ BF16، وfloat16 لـ FP16، وfloat8 لـ FP8. لا تُعامَل تسمية مثل 4bit على أنها FP4 أو INT4.
  • لا تتطابق أبدًا العروض التي تفتقر إلى بيانات وصفية للتكميم.
  • لا يوجد رجوع إلى دقة أخرى. إذا لم يتطابق أي عرض، يفشل الطلب بالخطأ 400 unsupported_model_or_endpoint والسبب quantization_not_available. يسرد الخطأ الدقّات المتاحة، وتحت routing_diagnostics.quantization المزوّدين الذين استُبعدوا وسبب ذلك.
  • يُقبل routing.quantizations بديلًا عن provider.quantizations.

​
اختر دقة

لا تحتاج إلى دقة واحدة لكل شيء. احتفظ بدقة أعلى لدعم العملاء والقرارات الحاسمة، واقبل دقة أقل للتصنيف أو التلخيص عالي الحجم.
1

حدّد معايير النجاح

حدّد عتبات الجودة (دقة المهمة، ومعدلات النجاح، وصلاحية المخرجات المنظَّمة)، وأهداف زمن الاستجابة والتكلفة، وأنماط الفشل التي لن تقبلها.
2

قِس خط أساس عالي الدقة

ابدأ بـ BF16 أو FP16. سجّل جودة المخرجات، وزمن الاستجابة الوسيط وفي الأطراف، وتكلفة الـ tokens. تُقارن كل دقة أقل بهذا الخط.
3

انزل مستوى واحدًا في كل مرة

جرّب FP8 أو INT8 بعد ذلك. لا تنتقل إلى FP4 أو INT4 إلا إذا كنت تحتاج إلى وفورات إضافية في التكلفة أو الإنتاجية. لا تقفز مباشرة إلى أصغر متغير ما لم يكن لديك دليل على أنه يعمل لحمل العمل الخاص بك.
4

اختبر بموجّهات شبيهة بالإنتاج

ضمّن موجّهات طويلة، واستدلالًا متعدد الخطوات، واستدعاء أدوات، وحالات طرفية من تذاكر الدعم.
5

اطرح واستمر في المراقبة

احتفظ بنموذج أو دقة احتياطية في العميل الخاص بك لحين لا يتطابق أي عرض، وراقب الجودة بعد الطرح، وأعد الاختبار عندما تتغير بيئة تشغيل المزوّد أو مراجعة النموذج. بعد اختيار دقة، اضبط معاملات الاستدلال فوقها.
آخر تعديل في ٥ نوفمبر ٢٠٢٦