stream: true सेट करें, और मॉडल जैसे-जैसे आउटपुट लिखता है, Gateway उसे सर्वर-सेंट इवेंट (SSE) के रूप में भेजता है। स्ट्रीम तभी पूरी होती है जब उसका सफल अंत वाला इवेंट आता है। एक स्ट्रीम देखने के लिए चलाएँ दबाएँ, फिर बीच में विफल पर जाकर देखें कि टूटी हुई स्ट्रीम कैसे खत्म होती है।
स्ट्रीमिंग अनुरोध भेजें
इवेंट पढ़ें
हर एंडपॉइंट का अपना इवेंट फ़ॉर्मेट है:
इवेंट खाली लाइनों से अलग होते हैं, लेकिन एक नेटवर्क चंक में आधा इवेंट या कई इवेंट हो सकते हैं। हर इवेंट को JSON के रूप में पार्स करने से पहले उसके पूरा होने तक बफ़र करें, या कोई SDK हेल्पर इस्तेमाल करें, जो यह आपके लिए करता है:
- TypeScript:
streamResponses(),streamChat(),streamMessages(); Python:stream_responses(),stream_chat(),stream_message()(उपयोग गाइड) - Vercel AI SDK:
@phaseo/ai-sdk-providerके साथstreamText()
[DONE] भेजता है। दूसरे एंडपॉइंट पर इसका इंतज़ार न करें।
टूल कॉल स्ट्रीम करें
टूल कॉल आर्ग्युमेंट डेल्टा के रूप में आते हैं, ठीक टेक्स्ट की तरह। कोई मॉडल इन्हें स्ट्रीम करता है या नहीं, यह मॉडल और प्रदाता पर निर्भर करता है। कॉल पूरी होने तक डेल्टा इकट्ठा करें, फिर आर्ग्युमेंट पार्स करें, सत्यापित करें और उन्हें अधिकृत करें। अधूरे आर्ग्युमेंट पर कभी कोई टूल न चलाएँ। नतीजे वापस भेजने के लिए टूल कॉलिंग पैटर्न और सत्यापन और मंज़ूरी के लिए टूल सुरक्षा देखें।स्ट्रीम रद्द करें
एकAbortSignal (या आपके HTTP क्लाइंट का समकक्ष) पास करें और जब उपयोगकर्ता रोके या डिस्कनेक्ट हो, तब abort करें। काम के हिसाब से समय-सीमा सेट करें। रद्द करने से यह पक्का नहीं होता कि प्रदाता तुरंत रुक जाएगा, या जो आउटपुट वह पहले ही बना चुका है वह मुफ़्त होगा।
बीच में टूटी स्ट्रीम से उबरें
अगर टेक्स्ट शुरू होने के बाद स्ट्रीम विफल होती है, तो वह सफल इवेंट के बजाय ऊपर की टेबल के विफलता इवेंट के साथ खत्म होती है। सिर्फ़ कनेक्शन बंद होने का मतलब यह नहीं कि जवाब पूरा है। विफल होने वाली स्ट्रीम के अधूरे आउटपुट का Phaseo कोई शुल्क नहीं लेता। जब ऐसा हो:- अधूरा टेक्स्ट स्क्रीन पर रखें, उसे बीच में टूटा हुआ चिह्नित करके।
- अनुरोध या जनरेशन ID, एंडपॉइंट और मॉडल लॉग करें।
- दोबारा कोशिश करने का विकल्प दें। नया अनुरोध अलग टेक्स्ट बना सकता है और उसका फिर से शुल्क लगता है।
- जो टूल पहले ही चल चुके हैं उन्हें दोबारा न चलाएँ, और दोबारा मिले जवाब को अधूरे जवाब के साथ न जोड़ें।