选择量化策略

{
  "model": "meta/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "quantizations": ["FP8"]
  }
}

​

步骤 1：定义成功标准

• 设置质量阈值（任务准确率、通过率、结构化输出的有效性）。
• 设置延迟和成本目标。
• 定义不可接受的故障模式。

​

步骤 2：选择高质量基线

• 输出质量
• 中位数和尾延迟
• Token/成本情况

​

步骤 3：逐步降低精度

1. FP8 or INT8
2. 仅在需要降低成本或提高吞吐量时使用 FP4 或 INT4。

​

步骤 4：评估真实工作负载

• 长提示词
• 多步推理
• 工具调用
• 支持工单中的边界情况

​

步骤 5：按端点或用例选择

• 客户支持和关键决策：采用较高精度。
• 大批量分类或摘要：较低精度可能也可以接受。

​

建议的起点

​

部署策略

• 配置备用模型或量化方案。
• 部署后监控质量漂移。
• 供应商运行时或模型版本变化时重新测试。