跳转到主要内容
设置 stream: true,Gateway 就会在模型撰写输出的同时,以服务器发送事件(SSE)把输出发给你。只有收到成功结束事件,流才算完成。点击 播放 观看一个流,然后切换到 中途失败,看看中断的流如何结束。

发送流式请求

读取响应体之前,先检查 HTTP 状态。在流开始之前就失败的请求会收到正常的 JSON 错误响应,而不是流。把 Phaseo API 密钥保存在你的服务器上,再从服务器把文本转发到你的界面。

读取事件

每个端点使用自己的事件格式: 事件之间用空行分隔,但一个网络块可能只包含半个事件,也可能包含多个事件。先缓冲到每个事件完整,再把它作为 JSON 解析;或者使用 SDK 助手,它们会替你完成这一步:
  • TypeScript:streamResponses()、streamChat()、streamMessages();Python:stream_responses()、stream_chat()、stream_message()(使用指南)
  • Vercel AI SDK:streamText() 配合 @phaseo/ai-sdk-provider
只有 Chat Completions 会发送 [DONE]。在其他端点上不要等待它。

流式工具调用

工具调用和文本一样,以参数增量的形式到达。模型是否流式发送它们取决于模型和提供商。收集增量直到调用完成,然后再解析、验证并授权参数。切勿用不完整的参数运行工具。 把结果发回的方法请参阅工具调用模式,验证和审批请参阅工具安全。

取消流

传入 AbortSignal(或你的 HTTP 客户端中的等效机制),在用户停止或断开连接时中止。设置适合工作负载的截止时间。取消并不保证提供商立即停止,也不保证它已经生成的输出不收费。

从中断的流中恢复

如果流在文本开始后失败,它会以上表中的失败事件结束,而不是成功事件。仅仅是连接关闭,并不代表回答已经完整。Phaseo 不会对失败流的部分输出计费。 发生这种情况时:
  1. 在界面上保留部分文本,并标记为已中断。
  2. 记录请求或生成 ID、端点和模型。
  3. 提供重试。新请求可能生成不同的文本,并会再次计费。
  4. 不要重新运行已经运行过的工具,也不要把重试的回答追加到部分回答后面。
对于在任何文本到达之前就发生的失败,请使用退避重试,并遵守速率限制标头。如果必须在任何人看到之前验证整个回答,请使用非流式请求,或在服务器上缓冲流。
最后修改于 2026年11月5日