وجّه الطلبات عبر المزوّدين
رتّب المزوّدين أو قيّدهم أو ثبّت أحدهم، وأدرج نماذج بديلة لحالات الفشل.
معظم النماذج يخدمها عدة مزوّدين. لكل طلب، تُبقي Phaseo المزوّدين الذين تسمح بهم قواعدك، وترتّبهم، وتستدعي أفضلهم. إذا فشل ذلك المزوّد، تجرّب التالي. الترتيب الافتراضي، balanced، يوازن التكلفة لكل إجابة ناجحة.
تحكّم في ذلك بكائن provider (ويُقبل routing كاسم بديل):
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
- يضبط
orderترتيبًا مفضّلًا، ويسمحonlyوignoreبالمزوّدين أو يحظرانهم. - يرتّب
sortحسبpriceأوlatencyأوthroughput. واللواحق:cheapو:fastو:nitroعلى النموذج تفعل الشيء نفسه وتتقدّم علىsort. - يضع
max_priceسقوفًا للأسعار، وتقيّدrequired_execution_regionوrequired_data_regionوrequire_zero_data_retentionمكان معالجة البيانات وطريقتها.
لتثبيت مزوّد واحد دون بديل احتياطي بين المزوّدين، ضعه قبل معرّف النموذج: baseten:thinking-machines/inkling-small. وللتوجيه الإقليمي للطلب كله، أرسل الطلبات النصية إلى eu.api.phaseo.app أو us.api.phaseo.app بدلًا من ذلك.
للانتقال إلى نماذج أخرى عند الفشل، أدرجها في models. تجرّب Phaseo model أولًا، ثم كل عنصر بالترتيب، لكن فقط بعد أن ينتهي النموذج السابق بـ 429 أو 500 أو 502 أو 503 أو 504. أما أخطاء مثل 400 أو 401 أو 402 فتُعاد فورًا. تُحتسب كل محاولة كطلب مستقل، ويسمّي الحقل model في الاستجابة النموذج الذي أجاب. ولا ينتقل البث إلى بديل إلا قبل أول بايت منه.
تحقّق من فهمك
ترسل "model": "openai/gpt-6-astra" مع "models": ["anthropic/claude-sonnet-5.5"]. يعيد النموذج الأول 400 validation_error. ماذا يحدث؟
طبّق ما تعلّمته
يقول فريقك القانوني إن موجّهات العملاء يجب ألا تذهب إلا إلى مزوّدين يلتزمون بعدم الاحتفاظ بالبيانات، وإن التطبيق يجب ألا يلمس مزوّدًا معيّنًا أبدًا. لا تريد تثبيت مزوّد واحد. ماذا ترسل؟
اعرض الإجابةأخفِ الإجابة
أبقِ معرّف النموذج العادي كي تتمكن Phaseo من الانتقال بين المزوّدين، وأضف "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. التثبيت بـ provider:model سيوقف البديل الاحتياطي بين المزوّدين، وهذا ما لا تريده.
الخلاصة
provider لترتيب المزوّدين وتقييدهم، وبادئة provider: لتثبيت واحد منهم، وmodels للانتقال إلى نماذج أخرى عند الأخطاء القابلة لإعادة المحاولة.روابط ذات صلة
آخر مراجعة: ١٧ نوفمبر ٢٠٢٦