الهدف
- فضّل مزود الخدمة الأقل تكلفة لطلب واحد.
- فضّل مزود الخدمة الأقل زمنًا للاستجابة للمسارات التفاعلية.
- فضّل مزود الخدمة الأعلى إنتاجية للتوليد بالجملة.
1. أضف provider.sort إلى الطلب
في الطلبات النصية، عيّن الترتيب المطلوب مباشرةً في كائن provider.
pricelatencythroughput
2. اختر الترتيب المناسب لعبء العمل
استخدم:priceعندما تكون التكلفة أهم من زمن الاستجابة في الطرف البطيءlatencyللمحادثة والمساعدات والأدوات التي تتطلب تدخّلًا بشريًاthroughputللتوليد بكميات كبيرة أو ملء البيانات السابقة
3. افهم ما الذي تقارنه البوابة
عند تحديد الترتيب صراحةً على مستوى الطلب، ترتب البوابة المرشحين بطريقة حتمية بدلًا من الخلط الموزون والمتوازن المعتاد. للنماذج النصية:- يقارن
priceأساسًا سعريًا مشتركًا بين مزودي الخدمة المؤهلين - إذا توفرت مقاييس نصية مشتركة، تفضّل البوابة الخيارات المطابقة لـ
input_text_tokensوoutput_text_tokens - يستخدم
latencyأحدث بيانات زمن الاستجابة لمزودي الخدمة - يستخدم
throughputأحدث قياسات الإنتاجية
4. أبقِ مجموعة مزودي الخدمة واقعية
يعمل الترتيب بأفضل شكل بعد تضييق مجموعة المرشحين عند الحاجة. على سبيل المثال، رتّب مجموعة معتمدة واحدة من مزودي الخدمة فقط:5. تحقق من نتيجة الترتيب
عند تصحيح الأخطاء، افحص الطلب في Gateway -> الاستخدام وابحث عن:- مزودي الخدمة الذين جرى النظر فيهم
- مزودي الخدمة المرتبين
- عوامل نقاط التوجيه المتعلقة بالسعر أو زمن الاستجابة أو الإنتاجية