FP8、INT8、INT4）は精度を示します。
量子化手法は、その精度をどのように適用したかを示します。
手法が重要な理由
同じINT4でも、手法の選択によって動作が大きく異なることがあります。手法は次の点に影響します。
- 精度の維持
- 実行環境との互換性
- メモリ配置と推論時の性能
- キャリブレーション要件
主な手法の種類
手法と形式の例
INT4は目標とする精度です。AWQ INT4とGPTQ INT4は、その目標を実現する異なる方法です。
実践的な指針
- まず、安定してデプロイできる実行環境を選びます。
- その環境がサポートする手法に絞り込みます。
- 同じ精度目標で複数の量子化手法をベンチマークします。
- ベンチマークの平均スコアだけでなく、失敗のパターンも記録します。
評価チェックリスト
- 構造化出力の正確さ
- 長いコンテキストでの忠実性
- ツール呼び出しの信頼性
- 安全性とモデレーションの動作
- 負荷時のテールレイテンシ