量子化戦略の選び方

{
  "model": "meta/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "quantizations": ["FP8"]
  }
}

​

ステップ1：成功基準を定義する

• 品質のしきい値（タスク精度、合格率、構造化出力の有効性）を設定します。
• レイテンシとコストの目標を設定します。
• 許容できない失敗のパターンを定義します。

​

ステップ2：高品質なベースラインを選ぶ

• 出力品質
• 中央値とテールレイテンシ
• トークンとコストのプロファイル

​

ステップ3：段階的に精度を下げる

1. FP8 or INT8
2. コスト削減やスループット向上が必要な場合に限り、FP4またはINT4を使います。

​

ステップ4：実際のワークロードで評価する

• 長いプロンプト
• 複数ステップの推論
• ツール呼び出し
• サポートチケットから得たエッジケース

​

ステップ5：エンドポイント／用途ごとに決める

• カスタマーサポートや重要な判断：高い精度。
• 大量の分類・要約：低い精度でも許容できる場合があります。

​

推奨される初期設定

​

デプロイポリシー

• フォールバック用のモデルまたは量子化形式を設定します。
• 展開後の品質変化を監視します。
• プロバイダーのランタイムやモデルのバージョンが変わったら再テストします。