> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 量子化戦略の選び方

> ワークロードに応じてBF16／FP8／INT8／INT4の各形式を選ぶための実践的な指針。

この手順に従って、安全に量子化形式を選択します。

Phaseo Gatewayで選択を適用するには、OpenRouter互換のルーティングフィルターを送信します。

```json theme={null}
{
  "model": "meta/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "quantizations": ["FP8"]
  }
}
```

このフィルターはプロバイダー名だけでなく、プロバイダーが提供するモデルに適用されます。大文字と小文字は区別せず、`FP8`の`float8`、`BF16`の`bfloat16`など、曖昧でないエイリアスも使えます。量子化のメタデータがないオファーは対象外です。適格なオファーが見つからない場合、ルーティング診断を含むエラーでリクエストは失敗し、Phaseoが未検証の量子化にフォールバックすることはありません。同等の形式`routing.quantizations`も使用できます。

## ステップ1：成功基準を定義する

量子化形式を選ぶ前に、次を決めます。

* 品質のしきい値（タスク精度、合格率、構造化出力の有効性）を設定します。
* レイテンシとコストの目標を設定します。
* 許容できない失敗のパターンを定義します。

## ステップ2：高品質なベースラインを選ぶ

より高精度なベースライン（多くの場合`BF16`または`FP16`）から始め、次を測定します。

* 出力品質
* 中央値とテールレイテンシ
* トークンとコストのプロファイル

これを比較の基準にします。

## ステップ3：段階的に精度を下げる

段階的に低精度の形式を評価します。

1. `FP8` or `INT8`
2. コスト削減やスループット向上が必要な場合に限り、`FP4`または`INT4`を使います。

ワークロードに適しているという十分な根拠がない限り、最小の形式へ直接切り替えないでください。

## ステップ4：実際のワークロードで評価する

本番環境に近いプロンプトを使います。

* 長いプロンプト
* 複数ステップの推論
* ツール呼び出し
* サポートチケットから得たエッジケース

## ステップ5：エンドポイント／用途ごとに決める

1つの量子化形式ですべてをまかなう必要はありません。

例：

* カスタマーサポートや重要な判断：高い精度。
* 大量の分類・要約：低い精度でも許容できる場合があります。

## 推奨される初期設定

| ワークロードの種類 | 推奨する初期量子化形式 |
| - | - |
| 品質重視の推論 | `BF16` / `FP16` |
| コストと品質のバランス | `FP8` / `INT8` |
| 高スループット・低コスト | `INT4` / `FP4`（検証後） |

## デプロイポリシー

* フォールバック用のモデルまたは量子化形式を設定します。
* 展開後の品質変化を監視します。
* プロバイダーのランタイムやモデルのバージョンが変わったら再テストします。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.