跳转到主要内容
为每类请求设定输入目标和输出上限,然后用实际用量对照检查。你发送或接收的每个 token 都会增加延迟和成本,而输出上限过小会截断回答。

请求中哪些部分会被计入

推理用尽输出上限时

推理模型可能在给出回答之前就用尽整个输出上限。此时响应仍是 HTTP 200,包含已生成的推理内容,不会虚构回答: 正常结束时仍为 stop(Chat Completions)或 completed(Responses)。如果经常遇到上述情况,请提高输出上限或降低推理强度。

为每条路由设定预算

  1. 为每类请求(例如搜索回答或长篇草稿)设定最大输入大小。不要把同一个上限照搬到所有端点。
  2. 为该类请求应当产生的最长回答预留输出空间。
  3. 发送前裁剪或总结大段上下文,从最不可能有用的段落开始。
  4. 检查输出是否被截断,例如 finish_reason: "length" 或不完整的 JSON;出现时,留出更多空间后重试。
  5. 持续跟踪每个响应 usage 中的 token 数,并随着提示词的变化调整上限。
输出上限与采样如何相互作用,请参阅推理参数。
最后修改于 2026年11月5日