第 4/4 节课 · 9 分钟
流式传输
在回复生成的同时显示它,并区分正常结束的流和中断的流。
设置 "stream": true,Phaseo 就会在模型生成输出的同时,以服务器发送事件(SSE)的形式发送输出:
curl --no-buffer https://api.phaseo.app/v1/responses \
-H "Authorization: Bearer $PHASEO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-6-astra",
"input": "Say hello in one sentence.",
"stream": true
}'
先检查 HTTP 状态码。在流开始之前就失败的请求会收到普通的 JSON 错误,而不是流。然后读取事件。每个端点有自己的格式:
| 端点 | 文本所在位置 | 成功结束 | 失败结束 |
|---|---|---|---|
| Responses | response.output_text.delta | response.completed | response.failed 或 error |
| Chat Completions | choices[].delta | 一个 finish_reason,然后是 [DONE] | 一个没有 finish_reason 的 error 帧 |
在 Chat Completions 上,[DONE] 之前会有一个 choices 为空的最终数据块,其中带有 usage,包括整个流的 cost。只有 Chat Completions 会发送 [DONE]。一个网络数据块可能只包含半个事件,也可能包含多个事件,所以要先缓冲到事件完整后再解析,或者使用 SDK 的流辅助工具。
只有收到成功结束事件,流才算完成。仅仅是连接关闭并不代表回答已经完整。如果中途失败,保留已有的部分文本并标记为已中断,同时提供重试;对于失败的流,Phaseo 不会对已生成的部分输出收费。
要取消,请传入一个 AbortSignal(或你的 HTTP 客户端中的等价物),并在用户停止时中止。取消并不能保证提供商立即停止,也不能保证已经生成的输出免费。
检验你的理解
你的 Chat Completions 流已经传来了一些文本,然后连接关闭了。你始终没有看到 finish_reason 或 [DONE]。你该怎么做?
学以致用
用户可以在你的聊天界面中点击 停止。你的产品经理认为被停止的回复不花钱。这样对吗?
显示答案隐藏答案
不对。用 AbortSignal 中止请求,你的应用就会停止读取,但文档说明取消并不能保证提供商立即停止,也不能保证它已经生成的输出免费。被停止的回复应预期会为已完成的工作计费。
要点
等待端点的成功结束事件,其他情况都视为中断,也不要以为取消的流是免费的。
相关链接
进度保存在此浏览器中。
最后核对于 2026年11月17日