stream: true सेट करके सर्वर से भेजे गए इवेंट (SSE) में आउटपुट लें। Phaseo API कुंजी सर्वर पर रखें और आउटपुट इंटरफ़ेस में भेजें।
स्ट्रीमिंग अनुरोध भेजें
इवेंट पढ़ें
कॉल किए एंडपॉइंट का इवेंट प्रारूप इस्तेमाल करें:
SSE इवेंट खाली पंक्तियों से अलग होते हैं। नेटवर्क खंड में इवेंट का हिस्सा या कई इवेंट हो सकते हैं; हर खंड को अलग JSON की तरह पार्स न करें। अधूरे फ़्रेम बफ़र करें या SDK स्ट्रीम सहायक इस्तेमाल करें। हर एंडपॉइंट से
[DONE] आने की धारणा न रखें।
SDK सहायक स्ट्रीम ट्रांसपोर्ट सँभालते हैं:
- TypeScript:
streamResponses(),streamChat(),streamMessages(). - Python:
stream_responses(),stream_chat(),stream_message(). - Vercel AI SDK:
streamText()के साथ@phaseo/ai-sdk-provider.
टूल कॉल स्ट्रीम करें
Gateway टूल के साथ स्ट्रीमिंग स्वीकार करता है, पर समर्थन चुने मॉडल और प्रदाता पर निर्भर है। कॉल पूरा होने तक आर्ग्युमेंट डेल्टा इकट्ठे करें, फिर निष्पादन से पहले पार्स, सत्यापित और अधिकृत करें। अधूरे आर्ग्युमेंट कभी निष्पादित न करें। अगले अनुरोध के लिए टूल कॉल पैटर्न, और सत्यापन व स्वीकृति के लिए टूल सुरक्षा अपनाएँ।रद्द करें और बहाल करें
सर्वर HTTP क्लाइंट कोAbortSignal दें और उपयोगकर्ता के रुकने या डिस्कनेक्ट होने पर रद्द करें। काम के अनुसार समय सीमा रखें। रद्द करना प्रदाता के तुरंत रुकने या जनरेट आउटपुट के मुफ़्त होने की गारंटी नहीं है।
आंशिक टेक्स्ट क्रमशः दिखाएँ, पर एंडपॉइंट के सफल अंतिम इवेंट के बाद ही पूर्ण बताएँ। केवल कनेक्शन बंद होने से पूरा होना साबित नहीं होता।
आउटपुट शुरू होने के बाद स्ट्रीम विफल हो तो:
- आंशिक प्रतिक्रिया बाधित बताएँ।
- अनुरोध या जनरेशन ID, एंडपॉइंट और मॉडल लॉग में रखें।
- स्पष्ट पुनः प्रयास दें। नया अनुरोध अलग आउटपुट और नया शुल्क ला सकता है।
- निष्पादित टूल दोबारा न चलाएँ और पुनः प्रयास की प्रतिक्रिया आंशिक आउटपुट में स्वतः न जोड़ें।