Token 和上下文
模型以 token 为单位读写,你发送或接收的每个 token 都会增加时间和成本。
模型读文字的方式和你不一样。它们把文本切分成 token:词的一小部分、完整的短词、空格和标点。一个长词可能是好几个 token。从模型能读取的上限到你支付的价格,一切都以 token 计算。
上下文窗口是模型一次能读取的内容量。 它包含一个请求中的所有内容:你的指令、到目前为止的对话、任何文档或搜索结果、工具定义,以及模型写出的回答。每条提供商路由都有自己的 上下文长度,显示在模型页面上。
输入 token 和输出 token 分别计算:
| 类型 | 包含什么 |
|---|---|
| 输入 | 指令、你的消息、文档、工具定义 |
| 输出 | 回答,以及推理模型的思考内容 |
输出的单价通常高于输入,因为模型必须一个一个地写出每个输出 token。在 Phaseo 上,文本价格以每 100 万 token 的美元价格显示,输入和输出分别定价。每个响应的 usage 字段会报告它使用了多少 token。
输出上限会让回答提前结束。 你可以用 max_tokens(Chat Completions 和 Messages)或 max_output_tokens(Responses)限制输出。这能降低成本、缩短等待时间。但如果上限太小,回答会被截断,响应以 finish_reason: "length" 结束。这不是模型故障:调高上限,或降低推理强度即可。
提示词缓存让重复的输入更便宜。 如果提示词的开头部分在多个请求之间保持不变(例如很长的指令或参考文档),提供商就可以从缓存中读取它。这些 token 按较低的缓存读取价格计费,第一个 token 也会更快到达。大多数提供商会自动缓存重复的开头部分;Claude 只缓存你用 cache_control 标记的内容。
检验你的理解
一个响应在句子中间停了下来,finish_reason 为 "length"。发生了什么?
学以致用
你的客服机器人在每个请求的开头都发送同一份 20 页的政策文档,后面跟着客户的问题。你的账单大部分是输入 token。你能做什么?
显示答案隐藏答案
把政策文档原样放在提示词开头,这样提供商就能缓存它。重复的输入会按缓存读取价格计费,回答也会更快开始。在 Claude 上,用 cache_control 标记政策文档的结尾。你也可以把文档精简到真正相关的部分。
要点
相关链接
最后核对于 2026年11月17日