请求中哪些部分会被计入
推理用尽输出上限时
推理模型可能在给出回答之前就用尽整个输出上限。此时响应仍是 HTTP200,包含已生成的推理内容,不会虚构回答:
正常结束时仍为
stop(Chat Completions)或 completed(Responses)。如果经常遇到上述情况,请提高输出上限或降低推理强度。
为每条路由设定预算
- 为每类请求(例如搜索回答或长篇草稿)设定最大输入大小。不要把同一个上限照搬到所有端点。
- 为该类请求应当产生的最长回答预留输出空间。
- 发送前裁剪或总结大段上下文,从最不可能有用的段落开始。
- 检查输出是否被截断,例如
finish_reason: "length"或不完整的 JSON;出现时,留出更多空间后重试。 - 持续跟踪每个响应
usage中的 token 数,并随着提示词的变化调整上限。