> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 量子化形式

> BF16、FP16、FP8、FP4、INT8、INT4と、それぞれの形式が実務で意味すること。

このガイドでは、モデルのバリアントや推論ランタイムでよく使われる精度形式を説明します。

## クイックリファレンス

| 形式 | 主な用途 | 主な利点 | 主なリスク |
| - | - | - | - |
| `FP32` | 基準となる完全精度 | 数値安定性が最大 | メモリと計算コストが最も高い |
| `BF16` | 学習と高品質な推論 | `FP32`より効率を高めつつ高品質 | 8ビット/4ビットより負荷が大きい |
| `FP16` | 一般的な推論/学習経路 | 高速でメモリ使用量を削減 | `BF16`よりダイナミックレンジが狭い |
| `FP8` | スループット重視の推論/学習 | 速度とメモリ効率が大きく向上 | 難しいプロンプトで品質が目立って低下する |
| `FP4` | 効率を大幅に優先するモード | 非常に高密度で低コスト | 出力品質が低下するリスクが高い |
| `INT8` | 広く対応される推論量子化 | 品質への影響を抑えながら高い効率 | 一部モデルでキャリブレーション/感度の問題 |
| `INT4` | コスト重視のデプロイ | メモリ使用量が非常に少なく高スループット | 品質と堅牢性の低下が大きい |

## `BF16`と`FP16`

* `BF16`は指数部の範囲が広く、安定性に役立ちます。
* `FP16`も一般的で高速ですが、ワークロードによっては安定性が低くなる場合があります。
* 品質が重要な本番環境では、利用可能であれば`BF16`を既定値にする方が安全です。

## `FP8`と`FP4`

* `FP8`は効率を大きく高めつつ、多くのタスクで実用的な品質を保ちます。
* `FP4`は効率をさらに高めますが、特に微妙な推論、長いコンテキスト、厳密な構造化出力では品質が低下しやすくなります。

## 整数形式（`INT8` / `INT4`）

* 通常、推論スループットとメモリ使用量を優先して最適化されています。
* 品質は量子化手法、キャリブレーション、モデルアーキテクチャに大きく左右されます。
* 一般に`INT8`の方が`INT4`より安全にデプロイしやすいです。

## モデルラベルの読み方

次のようなラベルが使われることがあります。

* `bf16`, `fp16`, `fp8`, `int8`, `q4`, `4bit`, `8bit`

プロバイダー間で命名規則は完全には統一されていません。各バリアントの詳細は、必ずモデルまたはプロバイダーのドキュメントで確認してください。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.