跳转到主要内容
在每个请求上设置 temperature、top_p 和输出上限,以在多样性与可重复性、长度与成本之间进行取舍。模型的量化决定质量上限;这些参数决定模型在该上限内如何选择下一个 token。
本页说明每个控制项的作用以及从哪里开始调整。各端点上每个字段的类型、可接受的值和默认值,请参阅参数参考。

控制随机性

temperature 和 top_p 都会改变随机性,因此一次只调整其中一个。低比特量化模型如果随机性很高,输出可能明显不稳定。

减少重复

限制和停止输出

输出上限在 Chat Completions 和 Anthropic Messages 中为 max_tokens,在 Responses 中为 max_output_tokens。它会限制成本和延迟;设置得太低,回答就会被截断。以 finish_reason: "length" 提前结束的响应是触及了输出上限,而不是模型故障。 stop 接受会结束输出的序列,便于为输出划定边界并进行解析。各端点的字段请参阅输出长度与停止。

提供商不支持某个参数时

并非每个提供商都支持 top_k、seed、stop 或各惩罚项。如果处理请求的提供商不支持,Phaseo 会丢弃该参数而不是拒绝请求,并在 X-Phaseo-Dropped-Params 响应头中列出它。输出上限永远不会被丢弃。完整列表请参阅不支持的参数。

从这些值开始

根据每个任务预期的输出大小设置 max_tokens,而不是为所有任务使用同一个大值。分别调整每个任务,而不是用一套配置应对所有情况。对于创意任务,请逐步提高随机性,并人工审阅输出。

识别不合适的设置

调整参数

1

先选择模型和量化

请参阅量化。
2

固定一套评估集

每次运行都使用相同的提示词,使结果具有可比性。
3

一次只改一个参数

比较每个取值下的质量、延迟和 token 用量。
4

按任务保存结果

为每个端点或用例保留单独的预设,让调用方继承调好的默认值。
最后修改于 2026年11月5日