मुख्य सामग्री पर जाएं
stream: true सेट करें, और मॉडल जैसे-जैसे आउटपुट लिखता है, Gateway उसे सर्वर-सेंट इवेंट (SSE) के रूप में भेजता है। स्ट्रीम तभी पूरी होती है जब उसका सफल अंत वाला इवेंट आता है। एक स्ट्रीम देखने के लिए चलाएँ दबाएँ, फिर बीच में विफल पर जाकर देखें कि टूटी हुई स्ट्रीम कैसे खत्म होती है।

स्ट्रीमिंग अनुरोध भेजें

बॉडी पढ़ने से पहले HTTP स्टेटस जाँचें। जो अनुरोध स्ट्रीमिंग शुरू होने से पहले विफल होता है, उसे स्ट्रीम नहीं, बल्कि सामान्य JSON एरर प्रतिक्रिया मिलती है। अपनी Phaseo API कुंजी अपने सर्वर पर रखें और टेक्स्ट वहीं से अपने UI तक भेजें।

इवेंट पढ़ें

हर एंडपॉइंट का अपना इवेंट फ़ॉर्मेट है: इवेंट खाली लाइनों से अलग होते हैं, लेकिन एक नेटवर्क चंक में आधा इवेंट या कई इवेंट हो सकते हैं। हर इवेंट को JSON के रूप में पार्स करने से पहले उसके पूरा होने तक बफ़र करें, या कोई SDK हेल्पर इस्तेमाल करें, जो यह आपके लिए करता है:
  • TypeScript: streamResponses(), streamChat(), streamMessages(); Python: stream_responses(), stream_chat(), stream_message() (उपयोग गाइड)
  • Vercel AI SDK: @phaseo/ai-sdk-provider के साथ streamText()
सिर्फ़ Chat Completions [DONE] भेजता है। दूसरे एंडपॉइंट पर इसका इंतज़ार न करें।

टूल कॉल स्ट्रीम करें

टूल कॉल आर्ग्युमेंट डेल्टा के रूप में आते हैं, ठीक टेक्स्ट की तरह। कोई मॉडल इन्हें स्ट्रीम करता है या नहीं, यह मॉडल और प्रदाता पर निर्भर करता है। कॉल पूरी होने तक डेल्टा इकट्ठा करें, फिर आर्ग्युमेंट पार्स करें, सत्यापित करें और उन्हें अधिकृत करें। अधूरे आर्ग्युमेंट पर कभी कोई टूल न चलाएँ। नतीजे वापस भेजने के लिए टूल कॉलिंग पैटर्न और सत्यापन और मंज़ूरी के लिए टूल सुरक्षा देखें।

स्ट्रीम रद्द करें

एक AbortSignal (या आपके HTTP क्लाइंट का समकक्ष) पास करें और जब उपयोगकर्ता रोके या डिस्कनेक्ट हो, तब abort करें। काम के हिसाब से समय-सीमा सेट करें। रद्द करने से यह पक्का नहीं होता कि प्रदाता तुरंत रुक जाएगा, या जो आउटपुट वह पहले ही बना चुका है वह मुफ़्त होगा।

बीच में टूटी स्ट्रीम से उबरें

अगर टेक्स्ट शुरू होने के बाद स्ट्रीम विफल होती है, तो वह सफल इवेंट के बजाय ऊपर की टेबल के विफलता इवेंट के साथ खत्म होती है। सिर्फ़ कनेक्शन बंद होने का मतलब यह नहीं कि जवाब पूरा है। विफल होने वाली स्ट्रीम के अधूरे आउटपुट का Phaseo कोई शुल्क नहीं लेता। जब ऐसा हो:
  1. अधूरा टेक्स्ट स्क्रीन पर रखें, उसे बीच में टूटा हुआ चिह्नित करके।
  2. अनुरोध या जनरेशन ID, एंडपॉइंट और मॉडल लॉग करें।
  3. दोबारा कोशिश करने का विकल्प दें। नया अनुरोध अलग टेक्स्ट बना सकता है और उसका फिर से शुल्क लगता है।
  4. जो टूल पहले ही चल चुके हैं उन्हें दोबारा न चलाएँ, और दोबारा मिले जवाब को अधूरे जवाब के साथ न जोड़ें।
किसी भी टेक्स्ट के आने से पहले की विफलताओं के लिए, बैकऑफ़ के साथ दोबारा कोशिश करें और रेट-लिमिट हेडर का पालन करें। अगर किसी के देखने से पहले आपको पूरे जवाब को सत्यापित करना ज़रूरी है, तो बिना स्ट्रीमिंग वाला अनुरोध इस्तेमाल करें या अपने सर्वर पर स्ट्रीम को बफ़र करें।
अंतिम संशोधन 5 नवंबर 2026