temperature、top_p 和输出上限,以在多样性与可重复性、长度与成本之间进行取舍。模型的量化决定质量上限;这些参数决定模型在该上限内如何选择下一个 token。
控制随机性
temperature 和 top_p 都会改变随机性,因此一次只调整其中一个。低比特量化模型如果随机性很高,输出可能明显不稳定。
减少重复
限制和停止输出
输出上限在 Chat Completions 和 Anthropic Messages 中为max_tokens,在 Responses 中为 max_output_tokens。它会限制成本和延迟;设置得太低,回答就会被截断。以 finish_reason: "length" 提前结束的响应是触及了输出上限,而不是模型故障。
stop 接受会结束输出的序列,便于为输出划定边界并进行解析。各端点的字段请参阅输出长度与停止。
提供商不支持某个参数时
并非每个提供商都支持top_k、seed、stop 或各惩罚项。如果处理请求的提供商不支持,Phaseo 会丢弃该参数而不是拒绝请求,并在 X-Phaseo-Dropped-Params 响应头中列出它。输出上限永远不会被丢弃。完整列表请参阅不支持的参数。
从这些值开始
根据每个任务预期的输出大小设置
max_tokens,而不是为所有任务使用同一个大值。分别调整每个任务,而不是用一套配置应对所有情况。对于创意任务,请逐步提高随机性,并人工审阅输出。