temperature、top_p、出力の上限を設定して、多様性と再現性、長さとコストのバランスを調整します。モデルの量子化が品質の上限を決め、これらのパラメーターは、その範囲内でモデルが次のトークンをどう選ぶかを決めます。
ランダム性を制御する
temperature と top_p はどちらもランダム性を変えるため、一度に 1 つずつ調整してください。低ビットに量子化されたモデルでランダム性を高くすると、出力が目に見えて不安定になることがあります。
繰り返しを減らす
出力を制限して停止する
出力の上限は、Chat Completions と Anthropic Messages ではmax_tokens、Responses では max_output_tokens です。コストとレイテンシーに上限を設けますが、低すぎると回答が途中で切れます。finish_reason: "length" で早く停止したレスポンスは出力の上限に達したもので、モデルの失敗ではありません。
stop には出力を終了させるシーケンスを指定し、出力の区切りや解析を容易にします。各エンドポイントのフィールドについては、出力の長さと停止を参照してください。
プロバイダーがパラメーターをサポートしていない場合
top_k、seed、stop、ペナルティをすべてのプロバイダーがサポートしているわけではありません。リクエストを処理するプロバイダーがサポートしていない場合、Phaseo はリクエストを拒否せずにそのパラメーターを削除し、X-Phaseo-Dropped-Params レスポンスヘッダーに記載します。出力の上限が削除されることはありません。完全なリストはサポートされていないパラメーターを参照してください。
次の値から始める
max_tokens は、すべてに 1 つの大きな値を使うのではなく、タスクごとに想定される出力に合わせて設定してください。すべてに 1 つのプロファイルを使うのではなく、タスクごとに個別に調整してください。創作のタスクでは、ランダム性を徐々に上げ、出力を目で確認してください。