stream: true,Gateway 就会在模型撰写输出的同时,以服务器发送事件(SSE)把输出发给你。只有收到成功结束事件,流才算完成。点击 播放 观看一个流,然后切换到 中途失败,看看中断的流如何结束。
发送流式请求
读取事件
每个端点使用自己的事件格式:
事件之间用空行分隔,但一个网络块可能只包含半个事件,也可能包含多个事件。先缓冲到每个事件完整,再把它作为 JSON 解析;或者使用 SDK 助手,它们会替你完成这一步:
- TypeScript:
streamResponses()、streamChat()、streamMessages();Python:stream_responses()、stream_chat()、stream_message()(使用指南) - Vercel AI SDK:
streamText()配合@phaseo/ai-sdk-provider
[DONE]。在其他端点上不要等待它。
流式工具调用
工具调用和文本一样,以参数增量的形式到达。模型是否流式发送它们取决于模型和提供商。收集增量直到调用完成,然后再解析、验证并授权参数。切勿用不完整的参数运行工具。 把结果发回的方法请参阅工具调用模式,验证和审批请参阅工具安全。取消流
传入AbortSignal(或你的 HTTP 客户端中的等效机制),在用户停止或断开连接时中止。设置适合工作负载的截止时间。取消并不保证提供商立即停止,也不保证它已经生成的输出不收费。
从中断的流中恢复
如果流在文本开始后失败,它会以上表中的失败事件结束,而不是成功事件。仅仅是连接关闭,并不代表回答已经完整。Phaseo 不会对失败流的部分输出计费。 发生这种情况时:- 在界面上保留部分文本,并标记为已中断。
- 记录请求或生成 ID、端点和模型。
- 提供重试。新请求可能生成不同的文本,并会再次计费。
- 不要重新运行已经运行过的工具,也不要把重试的回答追加到部分回答后面。