> ## Documentation Index > Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt > Use this file to discover all available pages before exploring further. > ## Agent Instructions > Phaseo Gateway base URL: https://api.phaseo.app/v1. Send `Authorization: Bearer $PHASEO_API_KEY` with every request. > Model IDs look like `provider/model`, for example `openai/gpt-6-astra`. Do not guess IDs: list them with `GET /v1/models` or check https://phaseo.app/models. `phaseo/free` routes to an available free model and needs no wallet balance. > For new text integrations prefer `POST /v1/responses`. `POST /v1/chat/completions` (OpenAI format) and `POST /v1/messages` (Anthropic format) suit existing code. > The full API contract is https://phaseo.app/docs/openapi/v1/openapi.yaml. Official SDKs: `@phaseo/sdk` (TypeScript) and `phaseo` (Python), plus Go, C#, PHP, Ruby and Rust. > Search these docs over MCP at https://phaseo.app/docs/mcp, and install Phaseo skills with `npx skills add https://phaseo.app/docs`. If a page is wrong or out of date, report it with the MCP `submit_feedback` tool. > Manage Phaseo accounts with the `phaseo` CLI (`npm install -g @phaseo/cli`, then `phaseo login` or `phaseo login --device-code`), the `/v1` Management API or the MCP server at `https://mcp.phaseo.app/mcp?access=manage`. Do not send users to the dashboard for account tasks. A person is still needed for sign-up, approving a sign-in, paying the first top-up on the checkout link that `phaseo credits add` returns when no card is saved, confirming each saved-card top-up from the emailed link, and account security (password, MFA, passkeys). Create API keys with `phaseo keys create --name --json`; never guess one. Credit top-ups need `phaseo login --scopes billing:write` first. Task map: https://phaseo.app/docs/v1/developers/manage-from-an-agent.md. # 量子化 > 精度形式と量子化手法を選び、テストしたものを提供しているプロバイダーにだけルーティングします。 `provider.quantizations` を送ると、テストした精度でモデルを提供しているプロバイダーにだけリクエストをルーティングできます。 ```json theme={null} { "model": "meta/llama-3.3-70b-instruct", "messages": [{ "role": "user", "content": "Hello" }], "provider": { "quantizations": ["FP8"] } } ``` ## 量子化で何が変わるか 量子化は、モデルの重みをより小さい数値型で保存します。同じモデルが少ないメモリで動き、より速く応答するようになる代わりに、出力の品質がある程度下がります。量子化されたモデルは 2 つの要素で表されます。**形式**（`FP8` や `INT4` などの数値型）と、**手法**（`AWQ` や `GPTQ` など、重みをその型に変換した方法）です。 ビット数が半分になるごとに、重みに必要なメモリも半分になります。700 億パラメーターのモデルでは、重みだけでおおよそ次のサイズになります。 | 形式 | 重みあたりのビット数 | 70B モデルの重み | | - | - | - | | `FP32` | 32 | 約 280 GB | | `BF16`、`FP16` | 16 | 約 140 GB | | `FP8`、`INT8` | 8 | 約 70 GB | | `FP4`、`INT4` | 4 | 約 35 GB | これらの数値は単純な計算（パラメーター数 × 重みあたりのバイト数）によるもので、プロバイダーが別途メモリを必要とするアクティベーションと KV キャッシュは含まれていません。 ## 精度形式を比較する 精度形式は、プロバイダーがモデルの重みを保存するのに使う数値型です。精度が低いほどメモリの使用量が少なく応答も速くなりますが、出力の品質へのリスクが高くなります。 | 形式 | 主な用途 | 主な利点 | 主なリスク | | - | - | - | - | | `FP32` | 基準となる完全な精度 | 数値的な安定性が最も高い | メモリと計算のコストが最も高い | | `BF16` | 学習と高品質な推論 | FP32 より効率が良く、品質も高い | 8 ビットや 4 ビットよりはまだ重い | | `FP16` | 一般的な推論と学習 | 速度とメモリの削減効果が高い | BF16 よりダイナミックレンジが狭い | | `FP8` | スループット重視の推論と学習 | 速度とメモリの大きな改善 | 難しいプロンプトで品質の低下が目立つ | | `FP4` | 効率を徹底的に追求するモード | 非常に高い密度と低コスト | 出力が劣化するリスクが高い | | `INT8` | 広く対応している推論向けの量子化 | 品質への影響が中程度で効率が高い | 一部のモデルでキャリブレーションや感度の問題がある | | `INT4` | コスト重視のデプロイ | メモリが非常に少なく、スループットが高い | 品質と堅牢性のトレードオフが大きい | ### BF16 か FP16 か どちらも 16 ビットです。`BF16` は指数の範囲が広いため安定しています。`FP16` は一般的で高速ですが、一部のワークロードでは安定性が劣ります。プロバイダーが `BF16` を提供している場合、品質が重要なトラフィックにはそちらが安全です。 ### FP8 と FP4 `FP8` は効率を大きく改善しつつ、ほとんどのタスクで実用的な品質を保ちます。`FP4` はさらに効率を高めますが、特に微妙な推論、長いコンテキスト、厳密な構造化出力で、品質が下がることが多くなります。 ### INT8 と INT4 整数形式は、推論のスループットとメモリのために作られています。品質をどれだけ保てるかは、[量子化手法](#compare-quantization-methods)、キャリブレーションデータ、モデルのアーキテクチャによって決まります。`INT8` は `INT4` より安全にデプロイしやすい形式です。 ### モデルのラベルを読む プロバイダーはバリアントに `bf16`、`fp16`、`fp8`、`int8`、`q4`、`4bit`、`8bit` などのラベルを付けます。命名は標準化されておらず、`4bit` が `FP4` を指すことも `INT4` を指すこともあります。正確なバリアントはプロバイダーのドキュメントで確認してください。 ## 量子化手法を比較する `INT4` のような形式は精度の目標で、`AWQ` や `GPTQ` のような手法は重みをその形式に変換した方法です。`AWQ INT4` と `GPTQ INT4` は同じ目標に異なる方法で到達するため、動作が大きく異なることがあります。手法は、精度がどれだけ保たれるか、どのランタイムでモデルを提供できるか、メモリのレイアウトと提供速度、キャリブレーションデータが必要だったかどうかに影響します。 | 手法の系統 | 主な目的 | 備考 | | - | - | - | | `AWQ` | アクティベーションに敏感な重要な重みを保つ | 実用的な推論で品質と効率のバランスを取るためによく使われます | | `GPTQ` | 誤差を最小化する学習後量子化 | ローカル推論向けのコンパクトなバリアントで人気があります | | `GGUF` | llama.cpp のエコシステムで使われるパッケージ形式 | さまざまな量子化レベル（`Q4`、`Q5` など）と組み合わせて使われることが多いです | | `EXL2` | ExLlama のエコシステムでの低ビットのバリアント | スループットを重視しますが、アーキテクチャやランタイムの制約があります | 自分のワークロードで手法を比較するには、次のようにします。 1. まず、確実にデプロイできるランタイムを選びます。 2. そのランタイムが対応している手法の系統だけを残します。 3. 同じ精度の目標で、複数の手法をベンチマークします。 4. ベンチマークの平均スコアだけでなく、失敗の傾向も追跡します。構造化出力の正確さ、長いコンテキストへの忠実さ、ツール呼び出しの信頼性、安全性とモデレーションの挙動、負荷時のテールレイテンシなどです。 ## 1 つの精度にルーティングする `provider.quantizations` フィルターは、プロバイダー名だけでなく、各プロバイダーのそのモデルのオファーを確認します。 * **照合では大文字と小文字、空白、`-`、`_` を区別しません。** 曖昧さのないエイリアスも一致します。`BF16` には `bfloat16`、`FP16` には `float16`、`FP8` には `float8` です。`4bit` のようなラベルは `FP4` とも `INT4` とも扱われません。 * **量子化のメタデータがないオファーは一致しません。** * **別の精度へのフォールバックはありません。** 一致するオファーがない場合、リクエストは `400 unsupported_model_or_endpoint`（理由 `quantization_not_available`）で失敗します。エラーには利用可能な精度と、`routing_diagnostics.quantization` の下に除外されたプロバイダーとその理由が示されます。 * `provider.quantizations` の代わりに `routing.quantizations` も受け付けられます。 ## 精度を選ぶ | ワークロード | 最初に試す精度 | | - | - | | 品質が重要な推論 | `BF16` / `FP16` | | コストと品質のバランス | `FP8` / `INT8` | | 高スループットでコスト重視 | 検証後に `INT4` / `FP4` | すべてに 1 つの精度を使う必要はありません。カスタマーサポートや重要な判断には高い精度を使い、大量の分類や要約には低い精度を受け入れる、という使い分けができます。 **1. 成功の基準を決める** 品質のしきい値（タスクの正確さ、合格率、構造化出力の妥当性）、レイテンシとコストの目標、受け入れられない失敗の傾向を決めます。 **2. 高精度の基準を測定する** `BF16` または `FP16` から始めます。出力の品質、レイテンシの中央値とテール、トークンのコストを記録します。低い精度はすべてこれと比較します。 **3. 1 段階ずつ精度を下げる** 次に `FP8` または `INT8` を試します。コストやスループットをさらに削減する必要がある場合にのみ、`FP4` または `INT4` に進みます。自分のワークロードで機能するという根拠がすでにない限り、いきなり最も小さいバリアントに進まないでください。 **4. 本番に近いプロンプトでテストする** 長いプロンプト、複数ステップの推論、ツール呼び出し、サポートチケットにあるエッジケースを含めます。 **5. 展開して監視を続ける** 一致するオファーがない場合に備えて、自分のクライアントにフォールバックのモデルまたは精度を用意し、展開後も品質を監視して、プロバイダーのランタイムやモデルのリビジョンが変わったら再テストしてください。精度が決まったら、その上で[推論パラメーター](https://phaseo.app/docs/ja/v1/guides/inference-parameters.md)を調整します。 This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.