リクエストに含まれるもの
推論が出力の上限を使い切った場合
推論モデルは、回答を生成する前に出力の上限をすべて使ってしまうことがあります。その場合もレスポンスは HTTP200 で、生成された推論が含まれ、作り出された回答は含まれません。
通常の終了は、引き続き
stop(Chat Completions)または completed(Responses)です。これらが頻繁に見られる場合は、出力の上限を引き上げるか、推論の強度を下げてください。
ルートごとに予算を設定する
- 検索の回答や長文の下書きなど、リクエストの種類ごとに入力の最大サイズを設定します。1 つの上限をすべてのエンドポイントにそのまま使い回さないでください。
- その種類のリクエストが生成すべき最も長い回答に足りるだけの出力の余地を残します。
- 大きなコンテキストは、重要度が最も低い文章から順に、送信前に削るか要約します。
finish_reason: "length"や不完全な JSON など、出力が途中で切れていないか確認し、切れていた場合は余地を増やしてリトライします。- 各レスポンスの
usageにあるトークン数を継続的に追跡し、プロンプトの変化に合わせて上限を調整します。