第 2/3 节课 · 7 分钟

Token 和上下文

模型以 token 为单位读写,你发送或接收的每个 token 都会增加时间和成本。

模型读文字的方式和你不一样。它们把文本切分成 token:词的一小部分、完整的短词、空格和标点。一个长词可能是好几个 token。从模型能读取的上限到你支付的价格,一切都以 token 计算。

上下文窗口是模型一次能读取的内容量。 它包含一个请求中的所有内容:你的指令、到目前为止的对话、任何文档或搜索结果、工具定义,以及模型写出的回答。每条提供商路由都有自己的 上下文长度,显示在模型页面上。

输入 token 和输出 token 分别计算:

类型包含什么
输入指令、你的消息、文档、工具定义
输出回答,以及推理模型的思考内容

输出的单价通常高于输入,因为模型必须一个一个地写出每个输出 token。在 Phaseo 上,文本价格以每 100 万 token 的美元价格显示,输入和输出分别定价。每个响应的 usage 字段会报告它使用了多少 token。

输出上限会让回答提前结束。 你可以用 max_tokens(Chat Completions 和 Messages)或 max_output_tokens(Responses)限制输出。这能降低成本、缩短等待时间。但如果上限太小,回答会被截断,响应以 finish_reason: "length" 结束。这不是模型故障:调高上限,或降低推理强度即可。

提示词缓存让重复的输入更便宜。 如果提示词的开头部分在多个请求之间保持不变(例如很长的指令或参考文档),提供商就可以从缓存中读取它。这些 token 按较低的缓存读取价格计费,第一个 token 也会更快到达。大多数提供商会自动缓存重复的开头部分;Claude 只缓存你用 cache_control 标记的内容。

检验你的理解

一个响应在句子中间停了下来,finish_reason 为 "length"。发生了什么?

学以致用

你的客服机器人在每个请求的开头都发送同一份 20 页的政策文档,后面跟着客户的问题。你的账单大部分是输入 token。你能做什么?

显示答案

把政策文档原样放在提示词开头,这样提供商就能缓存它。重复的输入会按缓存读取价格计费,回答也会更快开始。在 Claude 上,用 cache_control 标记政策文档的结尾。你也可以把文档精简到真正相关的部分。

要点

一切都以 token 计算:输入和输出按每百万 token 分别定价,输出上限可能截断回答,缓存能让重复的输入更便宜。

相关链接

进度保存在此浏览器中。

最后核对于 2026年11月17日