Zum Hauptinhalt springen
Gib jeder Art von Anfrage ein Eingabeziel und ein Ausgabelimit und prüfe dann die tatsächliche Nutzung dagegen. Jedes Token, das du sendest oder empfängst, erhöht Latenz und Kosten, und ein zu kleines Ausgabelimit schneidet Antworten ab.

Was zu einer Anfrage zählt

Wenn Reasoning das Ausgabelimit aufbraucht

Ein Reasoning-Modell kann das ganze Ausgabelimit verbrauchen, bevor es eine Antwort erzeugt. Die Antwort ist trotzdem HTTP 200 und enthält das erzeugte Reasoning, ohne erfundene Antwort: Ein normaler Abschluss ist weiterhin stop (Chat Completions) oder completed (Responses). Erhöhe das Ausgabelimit oder senke den Reasoning-Aufwand, wenn du diese Fälle oft siehst.

Ein Budget pro Route festlegen

  1. Lege für jede Art von Anfrage eine maximale Eingabegröße fest, etwa für eine Suchantwort oder einen langen Entwurf. Übernimm nicht ein Limit für jeden Endpunkt.
  2. Lass Ausgabespielraum für die längste Antwort, die diese Art von Anfrage liefern soll.
  3. Kürze großen Kontext oder fasse ihn zusammen, bevor du ihn sendest, beginnend mit den Passagen, die am wenigsten wahrscheinlich wichtig sind.
  4. Prüfe Ausgaben auf Abschneiden, etwa finish_reason: "length" oder unvollständiges JSON, und versuche es mit mehr Spielraum erneut, wenn es passiert.
  5. Verfolge die Token-Zahlen im usage jeder Antwort über die Zeit und passe die Limits an, wenn sich deine Prompts ändern.
Wie Ausgabelimits und Sampling zusammenwirken, erfährst du unter Inferenzparameter.
Zuletzt geändert am 5. November 2026