Was zu einer Anfrage zählt
Wenn Reasoning das Ausgabelimit aufbraucht
Ein Reasoning-Modell kann das ganze Ausgabelimit verbrauchen, bevor es eine Antwort erzeugt. Die Antwort ist trotzdem HTTP200 und enthält das erzeugte Reasoning, ohne erfundene Antwort:
Ein normaler Abschluss ist weiterhin
stop (Chat Completions) oder completed (Responses). Erhöhe das Ausgabelimit oder senke den Reasoning-Aufwand, wenn du diese Fälle oft siehst.
Ein Budget pro Route festlegen
- Lege für jede Art von Anfrage eine maximale Eingabegröße fest, etwa für eine Suchantwort oder einen langen Entwurf. Übernimm nicht ein Limit für jeden Endpunkt.
- Lass Ausgabespielraum für die längste Antwort, die diese Art von Anfrage liefern soll.
- Kürze großen Kontext oder fasse ihn zusammen, bevor du ihn sendest, beginnend mit den Passagen, die am wenigsten wahrscheinlich wichtig sind.
- Prüfe Ausgaben auf Abschneiden, etwa
finish_reason: "length"oder unvollständiges JSON, und versuche es mit mehr Spielraum erneut, wenn es passiert. - Verfolge die Token-Zahlen im
usagejeder Antwort über die Zeit und passe die Limits an, wenn sich deine Prompts ändern.