Skip to main content
استخدم هذه الوصفة عندما يبقى النموذج نفسه لكنك تريد من البوابة ترتيب عروض مزودي الخدمة بشكل مختلف لطلب واحد.

الهدف

  • فضّل مزود الخدمة الأقل تكلفة لطلب واحد.
  • فضّل مزود الخدمة الأقل زمنًا للاستجابة للمسارات التفاعلية.
  • فضّل مزود الخدمة الأعلى إنتاجية للتوليد بالجملة.

1. أضف provider.sort إلى الطلب

في الطلبات النصية، عيّن الترتيب المطلوب مباشرةً في كائن provider.
أنواع ترتيب التوجيه المدعومة في هذا المسار:
  • price
  • latency
  • throughput

2. اختر الترتيب المناسب لعبء العمل

استخدم:
  • price عندما تكون التكلفة أهم من زمن الاستجابة في الطرف البطيء
  • latency للمحادثة والمساعدات والأدوات التي تتطلب تدخّلًا بشريًا
  • throughput للتوليد بكميات كبيرة أو ملء البيانات السابقة

3. افهم ما الذي تقارنه البوابة

عند تحديد الترتيب صراحةً على مستوى الطلب، ترتب البوابة المرشحين بطريقة حتمية بدلًا من الخلط الموزون والمتوازن المعتاد. للنماذج النصية:
  • يقارن price أساسًا سعريًا مشتركًا بين مزودي الخدمة المؤهلين
  • إذا توفرت مقاييس نصية مشتركة، تفضّل البوابة الخيارات المطابقة لـinput_text_tokens وoutput_text_tokens
  • يستخدم latency أحدث بيانات زمن الاستجابة لمزودي الخدمة
  • يستخدم throughput أحدث قياسات الإنتاجية

4. أبقِ مجموعة مزودي الخدمة واقعية

يعمل الترتيب بأفضل شكل بعد تضييق مجموعة المرشحين عند الحاجة. على سبيل المثال، رتّب مجموعة معتمدة واحدة من مزودي الخدمة فقط:

5. تحقق من نتيجة الترتيب

عند تصحيح الأخطاء، افحص الطلب في Gateway -> الاستخدام وابحث عن:
  • مزودي الخدمة الذين جرى النظر فيهم
  • مزودي الخدمة المرتبين
  • عوامل نقاط التوجيه المتعلقة بالسعر أو زمن الاستجابة أو الإنتاجية
يسهل ذلك التأكد مما إذا كانت البوابة قد رتبت الخيارات كما توقعت.

أدلة ذات صلة

آخر تعديل في ٢ أكتوبر ٢٠٢٦