> ## Documentation Index
> Fetch the complete documentation index at: https://phaseo.app/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 量子化手法

> 量子化手法と数値形式の違いと、手法の選択が重要な理由を説明します。

数値形式（`FP8`、`INT8`、`INT4`）は精度を示します。

量子化手法は、その精度を**どのように**適用したかを示します。

## 手法が重要な理由

同じ`INT4`でも、手法の選択によって動作が大きく異なることがあります。手法は次の点に影響します。

* 精度の維持
* 実行環境との互換性
* メモリ配置と推論時の性能
* キャリブレーション要件

## 主な手法の種類

| 手法の種類 | 主な用途 | 備考 |
| - | - | - |
| `AWQ` | 活性化に敏感な重みを保持 | 推論の品質と効率のバランスを取りやすい |
| `GPTQ` | 誤差を最小化する学習後量子化 | ローカル推論向けの小型モデルでよく使われる |
| `GGUF` | llama.cppエコシステムで使われるパッケージ形式 | 異なる量子化レベル（`Q4`、`Q5`など）と組み合わせることが多い |
| `EXL2` | ExLlamaエコシステムの積極的な低ビット量子化 | 高スループットを重視する一方、アーキテクチャや実行環境に制約がある |

## 手法と形式の例

`INT4`は目標とする精度です。\
`AWQ INT4`と`GPTQ INT4`は、その目標を実現する異なる方法です。

## 実践的な指針

1. まず、安定してデプロイできる実行環境を選びます。
2. その環境がサポートする手法に絞り込みます。
3. 同じ精度目標で複数の量子化手法をベンチマークします。
4. ベンチマークの平均スコアだけでなく、失敗のパターンも記録します。

## 評価チェックリスト

* 構造化出力の正確さ
* 長いコンテキストでの忠実性
* ツール呼び出しの信頼性
* 安全性とモデレーションの動作
* 負荷時のテールレイテンシ


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.