推論パラメーター

​

主なパラメーター

​

組み合わせで注意する点

• temperature と top_p はどちらもランダム性に影響します。調整時は一度に一方だけ変更します。
• 低ビットの強い量子化と高いランダム性を組み合わせると、出力が不安定になりやすくなります。
• max_tokens が小さいと、単なる出力の切り詰めがモデルの失敗に見えることがあります。

​

推奨する初期値

• temperature: 必要な創造性に応じて 0.2～0.7
• top_p: 0.9～1.0
• max_tokens: 一律に大きな値を使わず、想定する出力の種類に合わせて設定します

​

調整の手順

1. 最初に量子化を決めます。
2. 評価セットを固定します。
3. 一度に一つのパラメーターだけを変えます。
4. 品質、レイテンシ、トークン使用量を比較します。
5. エンドポイントや用途ごとに別のプリセットを用意します。