الدرس 1 من 2 · ١٠ دقائق

وجّه الطلبات عبر المزوّدين

رتّب المزوّدين أو قيّدهم أو ثبّت أحدهم، وأدرج نماذج بديلة لحالات الفشل.

معظم النماذج يخدمها عدة مزوّدين. لكل طلب، تُبقي Phaseo المزوّدين الذين تسمح بهم قواعدك، وترتّبهم، وتستدعي أفضلهم. إذا فشل ذلك المزوّد، تجرّب التالي. الترتيب الافتراضي، balanced، يوازن التكلفة لكل إجابة ناجحة.

تحكّم في ذلك بكائن provider (ويُقبل routing كاسم بديل):

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • يضبط order ترتيبًا مفضّلًا، ويسمح only وignore بالمزوّدين أو يحظرانهم.
  • يرتّب sort حسب price أو latency أو throughput. واللواحق :cheap و:fast و:nitro على النموذج تفعل الشيء نفسه وتتقدّم على sort.
  • يضع max_price سقوفًا للأسعار، وتقيّد required_execution_region وrequired_data_region وrequire_zero_data_retention مكان معالجة البيانات وطريقتها.

لتثبيت مزوّد واحد دون بديل احتياطي بين المزوّدين، ضعه قبل معرّف النموذج: baseten:thinking-machines/inkling-small. وللتوجيه الإقليمي للطلب كله، أرسل الطلبات النصية إلى eu.api.phaseo.app أو us.api.phaseo.app بدلًا من ذلك.

للانتقال إلى نماذج أخرى عند الفشل، أدرجها في models. تجرّب Phaseo model أولًا، ثم كل عنصر بالترتيب، لكن فقط بعد أن ينتهي النموذج السابق بـ 429 أو 500 أو 502 أو 503 أو 504. أما أخطاء مثل 400 أو 401 أو 402 فتُعاد فورًا. تُحتسب كل محاولة كطلب مستقل، ويسمّي الحقل model في الاستجابة النموذج الذي أجاب. ولا ينتقل البث إلى بديل إلا قبل أول بايت منه.

تحقّق من فهمك

ترسل "model": "openai/gpt-6-astra" مع "models": ["anthropic/claude-sonnet-5.5"]. يعيد النموذج الأول 400 validation_error. ماذا يحدث؟

طبّق ما تعلّمته

يقول فريقك القانوني إن موجّهات العملاء يجب ألا تذهب إلا إلى مزوّدين يلتزمون بعدم الاحتفاظ بالبيانات، وإن التطبيق يجب ألا يلمس مزوّدًا معيّنًا أبدًا. لا تريد تثبيت مزوّد واحد. ماذا ترسل؟

اعرض الإجابة

أبقِ معرّف النموذج العادي كي تتمكن Phaseo من الانتقال بين المزوّدين، وأضف "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. التثبيت بـ provider:model سيوقف البديل الاحتياطي بين المزوّدين، وهذا ما لا تريده.

الخلاصة

استخدم provider لترتيب المزوّدين وتقييدهم، وبادئة provider: لتثبيت واحد منهم، وmodels للانتقال إلى نماذج أخرى عند الأخطاء القابلة لإعادة المحاولة.

روابط ذات صلة

يُحفظ تقدّمك في هذا المتصفح.

آخر مراجعة: ١٧ نوفمبر ٢٠٢٦