ما يُحتسب ضمن الطلب
عندما يستهلك الاستدلال حد الإخراج
قد يستهلك نموذج الاستدلال حد الإخراج كاملًا قبل أن ينتج إجابة. تظل الاستجابة HTTP200 وتحتوي على الاستدلال الذي أُنتج، دون أي إجابة مختلَقة:
يظل الإيقاف العادي
stop (في Chat Completions) أو completed (في Responses). ارفع حد الإخراج أو خفّض مستوى جهد الاستدلال إذا رأيت هذه الحالات كثيرًا.
حدّد ميزانية لكل مسار
- حدّد حجمًا أقصى للإدخال لكل نوع من الطلبات، مثل إجابة بحث أو مسودة طويلة. لا تنسخ حدًا واحدًا عبر كل نقاط النهاية.
- اترك مساحة إخراج تكفي لأطول إجابة ينبغي أن ينتجها ذلك النوع من الطلبات.
- اقتطع السياق الكبير أو لخّصه قبل إرساله، بدءًا بالمقاطع الأقل احتمالًا لأن تكون مهمة.
- افحص المخرجات بحثًا عن الاقتطاع، مثل
finish_reason: "length"أو JSON جزئي، وأعد المحاولة بمساحة أكبر عند حدوثه. - تتبّع أعداد الرموز في
usageلكل استجابة بمرور الوقت، وعدّل الحدود كلما تغيّرت موجّهاتك.