クイックリファレンス
BF16とFP16
BF16は指数部の範囲が広く、安定性に役立ちます。FP16も一般的で高速ですが、ワークロードによっては安定性が低くなる場合があります。- 品質が重要な本番環境では、利用可能であれば
BF16を既定値にする方が安全です。
FP8とFP4
FP8は効率を大きく高めつつ、多くのタスクで実用的な品質を保ちます。FP4は効率をさらに高めますが、特に微妙な推論、長いコンテキスト、厳密な構造化出力では品質が低下しやすくなります。
整数形式（INT8 / INT4）
- 通常、推論スループットとメモリ使用量を優先して最適化されています。
- 品質は量子化手法、キャリブレーション、モデルアーキテクチャに大きく左右されます。
- 一般に
INT8の方がINT4より安全にデプロイしやすいです。
モデルラベルの読み方
次のようなラベルが使われることがあります。bf16,fp16,fp8,int8,q4,4bit,8bit