stream: true فيرسل الـ Gateway الإخراج في صورة أحداث يرسلها الخادم (SSE) أثناء كتابة النموذج له. لا يكتمل التدفق إلا عند وصول حدث النهاية الناجح الخاص به. اضغط تشغيل لمشاهدة تدفق، ثم انتقل إلى يفشل في المنتصف لترى كيف ينتهي التدفق المنقطع.
إرسال طلب متدفق
قراءة الأحداث
تستخدم كل نقطة نهاية تنسيق أحداث خاصًا بها:
تُفصل الأحداث بأسطر فارغة، لكن قطعة الشبكة قد تحتوي على نصف حدث أو على عدة أحداث. خزّن البيانات مؤقتًا حتى يكتمل كل حدث قبل تحليله بصفته JSON، أو استخدم مساعدًا من SDK يتولى ذلك عنك:
- TypeScript:
streamResponses()وstreamChat()وstreamMessages()؛ Python:stream_responses()وstream_chat()وstream_message()(دليل الاستخدام) - Vercel AI SDK:
streamText()مع@phaseo/ai-sdk-provider
[DONE] إلا Chat Completions. لا تنتظره في نقاط النهاية الأخرى.
بث استدعاءات الأدوات
تصل استدعاءات الأدوات في صورة أجزاء متتالية من المعاملات، بالطريقة نفسها التي يصل بها النص. يعتمد بثّ النموذج لها على النموذج والمزوّد. اجمع الأجزاء حتى يكتمل الاستدعاء، ثم حلّل المعاملات وتحقّق منها وصرّح بها. لا تشغّل أداة بمعاملات جزئية أبدًا. راجع أنماط استدعاء الأدوات لإرسال النتائج، وسلامة الأدوات للتحقق والموافقة.إلغاء التدفق
مرّرAbortSignal (أو ما يعادله في عميل HTTP لديك) وألغِ التدفق عندما يتوقف المستخدم أو ينقطع اتصاله. حدّد مهلة تناسب حجم العمل. لا يضمن الإلغاء أن يتوقف المزوّد فورًا، ولا أن يكون الإخراج الذي ولّده بالفعل مجانيًا.
الاستعادة من تدفق منقطع
إذا فشل التدفق بعد بدء النص، فإنه ينتهي بحدث الإخفاق من الجدول أعلاه بدلًا من حدث النجاح. إغلاق الاتصال وحده لا يعني أن الإجابة اكتملت. لا يفرض Phaseo رسومًا على الإخراج الجزئي لتدفق يفشل. عند حدوث ذلك:- أبقِ النص الجزئي ظاهرًا على الشاشة، مع وسمه بأنه منقطع.
- سجّل معرّف الطلب أو التوليد ونقطة النهاية والنموذج.
- اعرض إعادة المحاولة. قد ينتج الطلب الجديد نصًا مختلفًا وتُفرض عليه رسوم مرة أخرى.
- لا تُعِد تشغيل الأدوات التي نُفّذت بالفعل، ولا تُلحق الإجابة المعادة بالإجابة الجزئية.