第 4/4 节课 · 9 分钟

流式传输

在回复生成的同时显示它,并区分正常结束的流和中断的流。

设置 "stream": true,Phaseo 就会在模型生成输出的同时,以服务器发送事件(SSE)的形式发送输出:

curl --no-buffer https://api.phaseo.app/v1/responses \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "input": "Say hello in one sentence.",
    "stream": true
  }'

先检查 HTTP 状态码。在流开始之前就失败的请求会收到普通的 JSON 错误,而不是流。然后读取事件。每个端点有自己的格式:

端点文本所在位置成功结束失败结束
Responsesresponse.output_text.deltaresponse.completedresponse.failed 或 error
Chat Completionschoices[].delta一个 finish_reason,然后是 [DONE]一个没有 finish_reason 的 error 帧

在 Chat Completions 上,[DONE] 之前会有一个 choices 为空的最终数据块,其中带有 usage,包括整个流的 cost。只有 Chat Completions 会发送 [DONE]。一个网络数据块可能只包含半个事件,也可能包含多个事件,所以要先缓冲到事件完整后再解析,或者使用 SDK 的流辅助工具。

只有收到成功结束事件,流才算完成。仅仅是连接关闭并不代表回答已经完整。如果中途失败,保留已有的部分文本并标记为已中断,同时提供重试;对于失败的流,Phaseo 不会对已生成的部分输出收费。

要取消,请传入一个 AbortSignal(或你的 HTTP 客户端中的等价物),并在用户停止时中止。取消并不能保证提供商立即停止,也不能保证已经生成的输出免费。

检验你的理解

你的 Chat Completions 流已经传来了一些文本,然后连接关闭了。你始终没有看到 finish_reason 或 [DONE]。你该怎么做?

学以致用

用户可以在你的聊天界面中点击 停止。你的产品经理认为被停止的回复不花钱。这样对吗?

显示答案

不对。用 AbortSignal 中止请求,你的应用就会停止读取,但文档说明取消并不能保证提供商立即停止,也不能保证它已经生成的输出免费。被停止的回复应预期会为已完成的工作计费。

要点

等待端点的成功结束事件,其他情况都视为中断,也不要以为取消的流是免费的。

相关链接

进度保存在此浏览器中。

最后核对于 2026年11月17日