常用控制项
常用预设
常见问题模式
- 随机性过高:事实不一致,结构化输出不稳定。
- 确定性过高:补全内容重复或乏味。
- 惩罚过强:措辞生硬,内容偏离主题。
实用建议
- 按任务调整解码参数,而不是全局统一设置。
- 提取和 JSON 任务应采用保守设置。
- 对于创意任务,逐步提高随机性,并通过人工审核评估结果。
Documentation Index
Fetch the complete documentation index at: /docs/llms.txt
Use this file to discover all available pages before exploring further.
解码策略和惩罚项如何影响模型输出。
| 控制项 | 用途 | 说明 |
|---|---|---|
temperature | 全局随机性控制 | 通常最先调整 |
top_p | 限制累积概率质量 | 常与中等 temperature 搭配 |
top_k | 将选择范围限制为概率最高的 K 个令牌 | 并非所有供应商都支持 |
frequency_penalty | 抑制重复令牌或短语 | 有助于减少重复循环 |
presence_penalty | 鼓励引入新令牌或主题 | 有助于扩大探索范围 |
repetition_penalty | 惩罚重复文本模式(取决于供应商/模型) | 目标相似,但实现语义不同 |
| 使用场景 | 建议配置 |
|---|---|
| 确定性提取/分类 | 较低的 temperature(0.0 至 0.2),收窄采样范围 |
| 平衡型助手输出 | 中等 temperature(0.3 至 0.7),top_p 接近 0.9 至 1.0 |
| 创意生成 | 提高 temperature 并扩大采样范围,同时加强评估 |