Zum Hauptinhalt springen
Schlage Typ, zulässige Werte und Standardwert eines Anfragefelds für Chat Completions (/v1/chat/completions), Responses (/v1/responses) und Anthropic Messages (/v1/messages) nach. Die Unterstützung hängt trotzdem von Modell und Anbieter ab: Die Schnellstart-Tabelle auf jeder Modellseite zeigt, welche Parameter die aktiven Anbieter für jeden Endpunkt unterstützen. Tipps zur Abstimmung findest du unter Inferenzparameter.

Nicht unterstützte Parameter

Unterstützt der Anbieter, der eine Anfrage bedient, einen ihrer optionalen Sampling-Parameter nicht, verwirft Phaseo diesen Parameter: Er wird nicht an den Upstream gesendet und die Anfrage wird nicht abgelehnt. So funktionieren Clients weiter, die immer die OpenAI-Standardwerte senden. Phaseo entscheidet pro Anbieter, zuerst anhand seines Anbieterprofils und dann anhand der Katalogparameter der Route. Deklariert eine Route keine Parameter, entfällt nur die Katalogprüfung; Parameter, die das Anbieterprofil als nicht unterstützt markiert, werden trotzdem verworfen, etwa top_k bei Cohere oder stop bei Reflection. Ein Prompt-Cache-ttl von 12h wird außerdem auf Routen entfernt, die den 12-Stunden-Cache von OpenAI nicht unterstützen, und als prompt_cache_options.ttl oder prompt_cache_breakpoint.ttl gemeldet; siehe Prompt-Caching. Erfolgreiche Antworten führen die verworfenen Parameter auf, die der Anfrage-Body gesendet hat:
  • im Header X-Phaseo-Dropped-Params, zum Beispiel X-Phaseo-Dropped-Params: top_k, min_p;
  • in meta.routing.dropped_params, wenn die Anfrage meta: true setzt, zum Beispiel [{"param": "top_k", "reason": "unsupported_by_provider"}].
Ein Parameter, der aus einem Preset oder einem Standardwert statt aus dem Anfrage-Body stammt, kann verworfen werden, ohne an einer der beiden Stellen zu erscheinen. Er wird trotzdem in der mit der Anfrage gespeicherten Routing-Diagnose erfasst.

Das Modell wählen

model

Die auszuführende Phaseo-Modell-ID, zum Beispiel openai/gpt-6-astra. Pflichtfeld. Verwende die ID aus dem Schnellstart auf der Modellseite; sie ist die sicherste Wahl für Automatisierung und langlebige Integrationen. Auch ein Preset-Name wie @support-triage funktioniert hier.

models

Fallback-Modelle, die der Reihe nach nach model versucht werden. model bleibt Pflicht und läuft immer zuerst. Der nächste Eintrag wird nur versucht, wenn ein Versuch mit 429, 500, 502, 503 oder 504 fehlschlägt. Typ string[] · Einträge 1 bis 25; Duplikate und Einträge gleich model werden ignoriert · Beispiel ["anthropic/claude-sonnet-5.5", "google/gemini-4-argon"]
  • Jeder Versuch wird als eigene Anfrage validiert, protokolliert und abgerechnet. Das Feld model der Antwort und der Routing-Trace zeigen das Modell, das geantwortet hat.
  • Streaming-Anfragen wechseln nur vor dem ersten Byte zum Fallback; Video- und Musik-Jobs nur bei der Übermittlung.
  • Fallbacks einer angehängten dynamischen Route haben Vorrang. Presets werden als Einträge akzeptiert. phaseo/auto kann nicht mit models kombiniert werden.
  • Batch-, Echtzeit- und Council-Anfragen lehnen models mit 400 ab.
  • Multipart-Endpunkte akzeptieren wiederholte models-Felder, models[]-Felder oder ein JSON-Array.
Siehe Modell-Fallbacks auf Anfrageebene.

stream

Gibt die Ausgabe während der Generierung über Server-Sent Events zurück statt in einem einzelnen Antwort-Body. Typ boolean · Standard false Verwende es für Chat-Oberflächen und lange Antworten. Lass es aus, wenn du eine einzelne JSON-Antwort willst, die sich einfacher wiederholen und parsen lässt. Tool-Aufrufe und strukturierte Ausgabe können je nach Anbieter unterschiedlich gestreamt werden. Siehe Streaming.

Sampling

temperature

Wie zufällig die Token-Auswahl ist. Niedrigere Werte liefern vorsichtigere, wiederholbare Ausgaben; höhere Werte mehr Vielfalt, aber weniger Konsistenz und Schematreue. Typ number · Bereich 0–2 bei Chat Completions und Responses, 0–1 bei Messages · Standard der des Anbieters (Phaseo sendet nichts, wenn nicht gesetzt) Beginne mit 0.2–0.7 und bleib niedrig für Extraktion, Klassifizierung und JSON. Stimme temperature oder top_p ab, nicht beides gleichzeitig. Eine hohe Temperatur bei einem stark quantisierten Modell kann die Ausgabe instabil machen.

top_p

Nucleus Sampling: Das Modell wählt aus der kleinsten Menge an Tokens, deren gemeinsame Wahrscheinlichkeit top_p erreicht. Niedrigere Werte liefern engere, fokussiertere Ausgaben. Typ number · Bereich 0–1 · Standard der des Anbieters 0.9–1.0 mit einer moderaten temperature ist ein sinnvoller Ausgangspunkt.

top_k

Beschränkt das Sampling in jedem Schritt auf die k wahrscheinlichsten Tokens. Niedrigere Werte machen die Ausgabe vorhersehbarer. Nicht jeder Anbieter unterstützt es. Typ integer · Bereich -1 oder mehr bei Chat Completions, 0 oder mehr bei Messages · Standard der des Anbieters

min_p

Grenzt das Sampling ein, indem Tokens unter einer Mindestwahrscheinlichkeit verworfen werden. Typ number · Bereich 0–1 · Standard der des Anbieters

frequency_penalty

Bestraft Tokens im Verhältnis dazu, wie oft sie bereits vorkamen. Erhöhe den Wert, wenn das Modell in Schleifen gerät oder Formulierungen wiederholt. Typ number · Bereich -2–2 · Standard der des Anbieters, meist 0

presence_penalty

Bestraft jedes Token, das bereits vorkam, und lenkt das Modell so zu neuen Themen und Formulierungen. Typ number · Bereich -2–2 · Standard der des Anbieters, meist 0

repetition_penalty

Eine anbieterspezifische Steuerung gegen Wiederholungen, getrennt von den beiden Strafen oben. Ihre genaue Wirkung variiert stärker je nach Anbieter. Typ number · Bereich größer als 0; Anbieter akzeptieren oft bis 2 · Standard der des Anbieters

logit_bias

Macht bestimmte Tokens wahrscheinlicher oder unwahrscheinlicher. Schlüssel sind Token-IDs für den Tokenizer des Modells; Werte sind der hinzuzufügende Bias. Typ object (Token-ID zu Zahl) · Standard nicht gesetzt

seed

Fordert Sampling mit Seed an, für Debugging und Regressionstests. Identische Ausgabe ist über Anbieter hinweg oder nach Änderungen an der Anbieterinfrastruktur nicht garantiert. Typ integer · Standard nicht gesetzt

Ausgabelänge und Stoppen

max_tokens

Begrenzt die Ausgabe-Tokens bei Chat Completions und ist bei Messages Pflicht. Nutze es, um Kosten und Latenz zu steuern; ein zu kleiner Wert schneidet die Ausgabe ab. Typ integer · Bereich 1 oder mehr (0 oder mehr bei Messages) · Standard der des Anbieters bei Chat Completions

max_output_tokens

Begrenzt die Ausgabe-Tokens bei Responses. Gleicher Zweck wie max_tokens; sende den Namen, den dein Endpunkt verwendet. Typ integer · Bereich 1 oder mehr · Standard der des Anbieters

max_completion_tokens

Begrenzt die Ausgabe-Tokens bei Chat Completions; der neuere OpenAI-Name für max_tokens. Mische die beiden nicht in einer Anfrage. Typ integer · Bereich 1 oder mehr · Standard der des Anbieters

stop

Eine oder mehrere Sequenzen, die die Generierung beenden, etwa das Ende einer Vorlage oder eine Protokollmarkierung. Bei Messages heißt das Feld stop_sequences und nimmt ein Array. Typ string oder string[] · Standard nicht gesetzt

Token-Wahrscheinlichkeiten

logprobs

Gibt die Log-Wahrscheinlichkeit jedes Ausgabe-Tokens zurück, für Evaluierung, Ranking und Konfidenzbewertung. Typ boolean · Standard false

top_logprobs

Gibt an jeder Position die wahrscheinlichsten alternativen Tokens mit ihren Log-Wahrscheinlichkeiten zurück. Erfordert logprobs: true. Typ integer · Bereich 0–20

Tools

tools

Die Tools, die das Modell aufrufen darf. Verwende das OpenAI-Tool-Schema, sofern die Referenz des Endpunkts nichts anderes angibt; Messages nimmt das von Anthropic. Ein deklariertes Tool zwingt das Modell nicht, es aufzurufen. Typ array · Standard nicht gesetzt

tool_choice

Ob das Modell Tools aufrufen darf: none nur für Text, auto, damit das Modell entscheidet, required, um einen Aufruf zu erzwingen, oder ein Objekt, das ein bestimmtes Tool nennt. Typ string oder object

parallel_tool_calls

Erlaubt mehrere Tool-Aufrufe in einem Zug. Setze es auf false, wenn deine Tools nacheinander laufen müssen, zum Beispiel weil sie Nebenwirkungen in fester Reihenfolge haben. Typ boolean · Standard der des Anbieters (Phaseo sendet nichts, wenn nicht gesetzt)

max_tool_calls

Begrenzt, wie viele Tool-Aufrufe das Modell für die Anfrage macht. Typ integer · Bereich 1 oder mehr · Standard nicht gesetzt

Strukturierte Ausgabe

response_format

Fordert reinen Text, JSON oder eine Ausgabe an, die einem JSON-Schema entspricht. Die akzeptierten Formen hängen von Endpunkt und Anbieter ab. Typ string oder object · Standard der des Endpunkts und Anbieters

json_schema

Das JSON-Schema, dem die Ausgabe entsprechen muss, gesetzt innerhalb von response_format ({"type": "json_schema", "json_schema": {...}}). Halte Schemas eng und aufgabenspezifisch, damit sie besser eingehalten werden. Typ object

structured_outputs

Kein Anfragefeld. Auf einer Modellseite markiert es Endpunkte, deren aktive Anbieter schemagebundene Ausgabe unterstützen. Fordere sie mit response_format an.

Reasoning

reasoning

Konfiguriert Reasoning bei Modellen, die es unterstützen. Nicht gesetzte Felder lassen den Standardwert des Modells bestehen. Höherer Aufwand hilft bei schwierigen Problemen und kostet mehr Latenz und Tokens.

reasoning_effort

Die Kurzform von reasoning.effort bei Chat Completions. Typ string · Werte none, instant, minimal, low, medium, high, xhigh, max · Standard der des Modells

reasoning_tokens

Kein Anfragefeld. Auf einer Modellseite markiert es Routen, die Reasoning-Tokens melden oder ein Reasoning-Budget akzeptieren. Setze das Budget mit reasoning.max_tokens.

include_reasoning

Wird bei Chat Completions aus Kompatibilitätsgründen akzeptiert und hat keine Wirkung: Reasoning-Inhalte und -Zusammenfassungen werden immer zurückgegeben, wenn das Modell sie erzeugt. Reasoning-Ausgabe kann umfangreich sein, und nicht jedes Modell gibt sie zurück. Um sie zu verringern, senke reasoning.effort oder setze reasoning.enabled auf false. Typ boolean

Service-Tier und Prompt-Caching

service_tier

Wählt eine Geschwindigkeits- und Preisstufe bei Chat Completions, Responses und Messages, wenn Modell und Anbieter sie unterstützen. Phaseo ordnet jeden Wert der eigenen Steuerung des Anbieters zu. Typ string · Standard standard batch ist keine Stufe und wird abgelehnt; verwende die Batch-API. Wenn ein offizielles Anthropic-SDK auf Phaseo zeigt, nutze auf /v1/messages bevorzugt die Anthropic-Werte auto und standard_only; für ultrafast, priority, flex oder fast verwende reines HTTP oder Chat Completions und Responses. Siehe Service-Tiers.

prompt_cache_key

Hält Anfragen mit gemeinsamem Prompt-Präfix, etwa die Schritte einer Agent-Schleife, beim Anbieter, der ihren Cache hat. Typ string · Standard nicht gesetzt · Endpunkte Chat Completions, Responses, Messages Phaseo bindet den Schlüssel an den Anbieter und die Route (Deployment oder Region), die die erste erfolgreiche Anfrage bedient haben, und hält spätere Anfragen mit demselben Schlüssel dort, bis dieser Anbieter ausfällt, das verwaltete Kontingent von Phaseo bei ihm aufgebraucht ist oder deine Routing-Richtlinie ihn nicht mehr zulässt. Bindungen gelten pro Workspace und so lange wie die Cache-Aufbewahrung des Anbieters. Siehe Anbieteraffinität. Phaseo sendet einen Hash aus deiner Workspace-ID und dem Schlüssel an den Upstream, nie den Schlüssel selbst, sodass zwei Workspaces, die denselben Schlüssel wählen, keinen Anbieter-Cache teilen. Antworten geben den gesendeten Schlüssel zurück. Anbieter, deren API das Feld ablehnt, erhalten es nicht, und das Senden schließt nie einen Anbieter vom Routing aus. Ohne Schlüssel leitet Phaseo die Affinität aus der Anfrage ab, aber ein expliziter Schlüssel funktioniert bei langen Unterhaltungen und Agent-Sitzungen besser.

prompt_cache_options

Prompt-Cache-Modus und -Lebensdauer für OpenAI und Azure OpenAI GPT-5.6 und neuer (einschließlich GPT-6 Astra), DeepInfra und Moonshot AI. Typ object · Felder mode (implicit oder explicit), ttl Verwende {"mode": "explicit", "ttl": "30m"}, damit OpenAI nur die Breakpoints cacht, die du setzt. Eine Lebensdauer, die die Route nicht unterstützt, etwa 12h bei Azure OpenAI oder 1h bei einem Moonshot-AI-Modell ohne 1-Stunden-Preis, wird entfernt und in X-Phaseo-Dropped-Params aufgeführt. Alle anderen Anbieter und OpenAI-Modelle vor GPT-5.6 erhalten kein prompt_cache_options; diese OpenAI-Modelle nutzen prompt_cache_retention. provider_options.openai.prompt_cache_options wird ebenfalls akzeptiert; der Wert auf oberster Ebene hat Vorrang.

cache_control

Auf oberster Ebene legt es eine Claude-Prompt-Cache-Richtlinie fest. Auf einem Inhaltsblock, einer Tool-Definition oder einem Tool-Ergebnis markiert es einen Cache-Breakpoint. Typ object · Felder type, ttl, scope Oberste Ebene. Wird bei Chat Completions, Responses und Messages akzeptiert. Es gilt für Claude bei Anthropic, Claude auf AWS, Amazon Bedrock und Google Vertex AI: Phaseo setzt bis zu vier Breakpoints entsprechend scope (all_text, last_user_message, agent oder none). Andere Anbieter ignorieren es. provider_options.anthropic.cache_control ist dieselbe Einstellung und hat Vorrang, wenn beide gesendet werden. Auf einem Block. Phaseo sendet den Breakpoint an Claude-Routen, Alibaba Model Studio und Venice, wandelt ihn für OpenAI und Azure OpenAI GPT-5.6 und neuer in prompt_cache_breakpoint um und entfernt ihn bei anderen Anbietern. Das OpenAI-eigene prompt_cache_breakpoint: {"mode": "explicit"} wird auf denselben Blöcken akzeptiert und hat Vorrang, wenn ein Block beides hat. Verwende type: "ephemeral" mit einem ttl von 5m (Standard) oder 1h. Anthropic akzeptiert höchstens vier Breakpoints pro Anfrage; markierst du mehr, behält Phaseo den ersten und die letzten drei. Siehe Prompt-Caching.

prompt_cache_retention

Prompt-Cache-Aufbewahrung bei OpenAI- und Azure-OpenAI-Modellen vor GPT-5.6. Typ string · Werte in_memory, 24h Phaseo sendet es nur an diese Modelle, und nur die von OpenAI aufgeführten Modelle akzeptieren 24h. GPT-5.6 und neuer verwenden prompt_cache_options.ttl, und andere Anbieter erhalten das Feld nicht. provider_options.openai.prompt_cache_retention wird ebenfalls akzeptiert; der Wert auf oberster Ebene hat Vorrang.

Routing- und Anbietereinstellungen

provider

Schränkt ein, welche Anbieter die Anfrage bedienen können und wie sie gereiht werden. routing wird als Alias akzeptiert. Siehe Routing und Fallbacks. Der Abgleich von quantizations ignoriert Groß- und Kleinschreibung, Leerzeichen, Bindestriche und Unterstriche und behandelt eindeutige Namen als Aliase, etwa float8 und FP8 oder bfloat16 und BF16. Angebote ohne Quantisierungsdaten werden ausgeschlossen, sobald der Filter gesetzt ist. Passt kein Angebot, schlägt die Anfrage mit einem Fehler fehl, der die angeforderten und verfügbaren Quantisierungen auflistet, statt zu einer anderen Variante zu routen.

provider_options

Anbieternative Einstellungen, die Phaseo nach Anbieter geschlüsselt durchreicht, während der Rest der Anfrage beim gemeinsamen Schema bleibt. Typ object google.cached_content benennt einen expliziten Gemini-Cache und funktioniert nur mit deinen eigenen Zugangsdaten: einem Google-API-Schlüssel bei Google AI Studio oder Vertex-AI-Zugangsdaten bei Vertex AI. Bei Vertex AI sendet Phaseo die Anfrage an das Projekt und den Standort im vollständigen Namen des Caches (projects/{project}/locations/{location}/cachedContents/{id}); ein Kurzname verwendet project_id und region aus deinem Service-Account-JSON. Mit den Zugangsdaten von Phaseo gibt die Anfrage 400 zurück. google.cache_control und google.cache_ttl werden akzeptiert, aber nicht an Google gesendet. Verwende bevorzugt cache_control auf oberster Ebene für Claude, prompt_cache_options für OpenAI GPT-5.6 und neuer und prompt_cache_retention für ältere OpenAI-Modelle. Siehe Prompt-Caching.

Zusätze in der Antwort und Debugging

meta

Fügt der Antwort ein meta-Objekt mit Routing-Details hinzu, etwa meta.routing.dropped_params. Typ boolean · Standard false

usage

Fordert die Nutzungsabrechnung im Antwort-Body an, statt sich auf Header oder das Dashboard zu verlassen. Typ boolean · Standard nicht gesetzt

debug

Gibt Routing-Traces und Upstream-Payloads zurück. Debug-Ausgaben können den Inhalt deiner Anfrage enthalten, nutze sie daher nur in der Entwicklung oder in streng kontrollierten Umgebungen. Siehe Eine Anfrage debuggen.

Beispielanfrage

Zuletzt geändert am 5. November 2026