/v1/chat/completions), Responses (/v1/responses) und Anthropic Messages (/v1/messages) nach. Die Unterstützung hängt trotzdem von Modell und Anbieter ab: Die Schnellstart-Tabelle auf jeder Modellseite zeigt, welche Parameter die aktiven Anbieter für jeden Endpunkt unterstützen. Tipps zur Abstimmung findest du unter Inferenzparameter.
Nicht unterstützte Parameter
Unterstützt der Anbieter, der eine Anfrage bedient, einen ihrer optionalen Sampling-Parameter nicht, verwirft Phaseo diesen Parameter: Er wird nicht an den Upstream gesendet und die Anfrage wird nicht abgelehnt. So funktionieren Clients weiter, die immer die OpenAI-Standardwerte senden. Phaseo entscheidet pro Anbieter, zuerst anhand seines Anbieterprofils und dann anhand der Katalogparameter der Route. Deklariert eine Route keine Parameter, entfällt nur die Katalogprüfung; Parameter, die das Anbieterprofil als nicht unterstützt markiert, werden trotzdem verworfen, etwatop_k bei Cohere oder stop bei Reflection.
Ein Prompt-Cache-
ttl von 12h wird außerdem auf Routen entfernt, die den 12-Stunden-Cache von OpenAI nicht unterstützen, und als prompt_cache_options.ttl oder prompt_cache_breakpoint.ttl gemeldet; siehe Prompt-Caching.
Erfolgreiche Antworten führen die verworfenen Parameter auf, die der Anfrage-Body gesendet hat:
- im Header
X-Phaseo-Dropped-Params, zum BeispielX-Phaseo-Dropped-Params: top_k, min_p; - in
meta.routing.dropped_params, wenn die Anfragemeta: truesetzt, zum Beispiel[{"param": "top_k", "reason": "unsupported_by_provider"}].
Das Modell wählen
model
Die auszuführende Phaseo-Modell-ID, zum Beispiel openai/gpt-6-astra. Pflichtfeld. Verwende die ID aus dem Schnellstart auf der Modellseite; sie ist die sicherste Wahl für Automatisierung und langlebige Integrationen. Auch ein Preset-Name wie @support-triage funktioniert hier.
models
Fallback-Modelle, die der Reihe nach nach model versucht werden. model bleibt Pflicht und läuft immer zuerst. Der nächste Eintrag wird nur versucht, wenn ein Versuch mit 429, 500, 502, 503 oder 504 fehlschlägt.
Typ string[] · Einträge 1 bis 25; Duplikate und Einträge gleich model werden ignoriert · Beispiel ["anthropic/claude-sonnet-5.5", "google/gemini-4-argon"]
- Jeder Versuch wird als eigene Anfrage validiert, protokolliert und abgerechnet. Das Feld
modelder Antwort und der Routing-Trace zeigen das Modell, das geantwortet hat. - Streaming-Anfragen wechseln nur vor dem ersten Byte zum Fallback; Video- und Musik-Jobs nur bei der Übermittlung.
- Fallbacks einer angehängten dynamischen Route haben Vorrang. Presets werden als Einträge akzeptiert.
phaseo/autokann nicht mitmodelskombiniert werden. - Batch-, Echtzeit- und Council-Anfragen lehnen
modelsmit400ab. - Multipart-Endpunkte akzeptieren wiederholte
models-Felder,models[]-Felder oder ein JSON-Array.
stream
Gibt die Ausgabe während der Generierung über Server-Sent Events zurück statt in einem einzelnen Antwort-Body.
Typ boolean · Standard false
Verwende es für Chat-Oberflächen und lange Antworten. Lass es aus, wenn du eine einzelne JSON-Antwort willst, die sich einfacher wiederholen und parsen lässt. Tool-Aufrufe und strukturierte Ausgabe können je nach Anbieter unterschiedlich gestreamt werden. Siehe Streaming.
Sampling
temperature
Wie zufällig die Token-Auswahl ist. Niedrigere Werte liefern vorsichtigere, wiederholbare Ausgaben; höhere Werte mehr Vielfalt, aber weniger Konsistenz und Schematreue.
Typ number · Bereich 0–2 bei Chat Completions und Responses, 0–1 bei Messages · Standard der des Anbieters (Phaseo sendet nichts, wenn nicht gesetzt)
Beginne mit 0.2–0.7 und bleib niedrig für Extraktion, Klassifizierung und JSON. Stimme temperature oder top_p ab, nicht beides gleichzeitig. Eine hohe Temperatur bei einem stark quantisierten Modell kann die Ausgabe instabil machen.
top_p
Nucleus Sampling: Das Modell wählt aus der kleinsten Menge an Tokens, deren gemeinsame Wahrscheinlichkeit top_p erreicht. Niedrigere Werte liefern engere, fokussiertere Ausgaben.
Typ number · Bereich 0–1 · Standard der des Anbieters
0.9–1.0 mit einer moderaten temperature ist ein sinnvoller Ausgangspunkt.
top_k
Beschränkt das Sampling in jedem Schritt auf die k wahrscheinlichsten Tokens. Niedrigere Werte machen die Ausgabe vorhersehbarer. Nicht jeder Anbieter unterstützt es.
Typ integer · Bereich -1 oder mehr bei Chat Completions, 0 oder mehr bei Messages · Standard der des Anbieters
min_p
Grenzt das Sampling ein, indem Tokens unter einer Mindestwahrscheinlichkeit verworfen werden.
Typ number · Bereich 0–1 · Standard der des Anbieters
frequency_penalty
Bestraft Tokens im Verhältnis dazu, wie oft sie bereits vorkamen. Erhöhe den Wert, wenn das Modell in Schleifen gerät oder Formulierungen wiederholt.
Typ number · Bereich -2–2 · Standard der des Anbieters, meist 0
presence_penalty
Bestraft jedes Token, das bereits vorkam, und lenkt das Modell so zu neuen Themen und Formulierungen.
Typ number · Bereich -2–2 · Standard der des Anbieters, meist 0
repetition_penalty
Eine anbieterspezifische Steuerung gegen Wiederholungen, getrennt von den beiden Strafen oben. Ihre genaue Wirkung variiert stärker je nach Anbieter.
Typ number · Bereich größer als 0; Anbieter akzeptieren oft bis 2 · Standard der des Anbieters
logit_bias
Macht bestimmte Tokens wahrscheinlicher oder unwahrscheinlicher. Schlüssel sind Token-IDs für den Tokenizer des Modells; Werte sind der hinzuzufügende Bias.
Typ object (Token-ID zu Zahl) · Standard nicht gesetzt
seed
Fordert Sampling mit Seed an, für Debugging und Regressionstests. Identische Ausgabe ist über Anbieter hinweg oder nach Änderungen an der Anbieterinfrastruktur nicht garantiert.
Typ integer · Standard nicht gesetzt
Ausgabelänge und Stoppen
max_tokens
Begrenzt die Ausgabe-Tokens bei Chat Completions und ist bei Messages Pflicht. Nutze es, um Kosten und Latenz zu steuern; ein zu kleiner Wert schneidet die Ausgabe ab.
Typ integer · Bereich 1 oder mehr (0 oder mehr bei Messages) · Standard der des Anbieters bei Chat Completions
max_output_tokens
Begrenzt die Ausgabe-Tokens bei Responses. Gleicher Zweck wie max_tokens; sende den Namen, den dein Endpunkt verwendet.
Typ integer · Bereich 1 oder mehr · Standard der des Anbieters
max_completion_tokens
Begrenzt die Ausgabe-Tokens bei Chat Completions; der neuere OpenAI-Name für max_tokens. Mische die beiden nicht in einer Anfrage.
Typ integer · Bereich 1 oder mehr · Standard der des Anbieters
stop
Eine oder mehrere Sequenzen, die die Generierung beenden, etwa das Ende einer Vorlage oder eine Protokollmarkierung. Bei Messages heißt das Feld stop_sequences und nimmt ein Array.
Typ string oder string[] · Standard nicht gesetzt
Token-Wahrscheinlichkeiten
logprobs
Gibt die Log-Wahrscheinlichkeit jedes Ausgabe-Tokens zurück, für Evaluierung, Ranking und Konfidenzbewertung.
Typ boolean · Standard false
top_logprobs
Gibt an jeder Position die wahrscheinlichsten alternativen Tokens mit ihren Log-Wahrscheinlichkeiten zurück. Erfordert logprobs: true.
Typ integer · Bereich 0–20
Tools
tools
Die Tools, die das Modell aufrufen darf. Verwende das OpenAI-Tool-Schema, sofern die Referenz des Endpunkts nichts anderes angibt; Messages nimmt das von Anthropic. Ein deklariertes Tool zwingt das Modell nicht, es aufzurufen.
Typ array · Standard nicht gesetzt
tool_choice
Ob das Modell Tools aufrufen darf: none nur für Text, auto, damit das Modell entscheidet, required, um einen Aufruf zu erzwingen, oder ein Objekt, das ein bestimmtes Tool nennt.
Typ string oder object
parallel_tool_calls
Erlaubt mehrere Tool-Aufrufe in einem Zug. Setze es auf false, wenn deine Tools nacheinander laufen müssen, zum Beispiel weil sie Nebenwirkungen in fester Reihenfolge haben.
Typ boolean · Standard der des Anbieters (Phaseo sendet nichts, wenn nicht gesetzt)
max_tool_calls
Begrenzt, wie viele Tool-Aufrufe das Modell für die Anfrage macht.
Typ integer · Bereich 1 oder mehr · Standard nicht gesetzt
Strukturierte Ausgabe
response_format
Fordert reinen Text, JSON oder eine Ausgabe an, die einem JSON-Schema entspricht. Die akzeptierten Formen hängen von Endpunkt und Anbieter ab.
Typ string oder object · Standard der des Endpunkts und Anbieters
json_schema
Das JSON-Schema, dem die Ausgabe entsprechen muss, gesetzt innerhalb von response_format ({"type": "json_schema", "json_schema": {...}}). Halte Schemas eng und aufgabenspezifisch, damit sie besser eingehalten werden.
Typ object
structured_outputs
Kein Anfragefeld. Auf einer Modellseite markiert es Endpunkte, deren aktive Anbieter schemagebundene Ausgabe unterstützen. Fordere sie mit response_format an.
Reasoning
reasoning
Konfiguriert Reasoning bei Modellen, die es unterstützen.
Nicht gesetzte Felder lassen den Standardwert des Modells bestehen. Höherer Aufwand hilft bei schwierigen Problemen und kostet mehr Latenz und Tokens.
reasoning_effort
Die Kurzform von reasoning.effort bei Chat Completions.
Typ string · Werte none, instant, minimal, low, medium, high, xhigh, max · Standard der des Modells
reasoning_tokens
Kein Anfragefeld. Auf einer Modellseite markiert es Routen, die Reasoning-Tokens melden oder ein Reasoning-Budget akzeptieren. Setze das Budget mit reasoning.max_tokens.
include_reasoning
Wird bei Chat Completions aus Kompatibilitätsgründen akzeptiert und hat keine Wirkung: Reasoning-Inhalte und -Zusammenfassungen werden immer zurückgegeben, wenn das Modell sie erzeugt. Reasoning-Ausgabe kann umfangreich sein, und nicht jedes Modell gibt sie zurück. Um sie zu verringern, senke reasoning.effort oder setze reasoning.enabled auf false.
Typ boolean
Service-Tier und Prompt-Caching
service_tier
Wählt eine Geschwindigkeits- und Preisstufe bei Chat Completions, Responses und Messages, wenn Modell und Anbieter sie unterstützen. Phaseo ordnet jeden Wert der eigenen Steuerung des Anbieters zu.
Typ string · Standard standard
batch ist keine Stufe und wird abgelehnt; verwende die Batch-API. Wenn ein offizielles Anthropic-SDK auf Phaseo zeigt, nutze auf /v1/messages bevorzugt die Anthropic-Werte auto und standard_only; für ultrafast, priority, flex oder fast verwende reines HTTP oder Chat Completions und Responses. Siehe Service-Tiers.
prompt_cache_key
Hält Anfragen mit gemeinsamem Prompt-Präfix, etwa die Schritte einer Agent-Schleife, beim Anbieter, der ihren Cache hat.
Typ string · Standard nicht gesetzt · Endpunkte Chat Completions, Responses, Messages
Phaseo bindet den Schlüssel an den Anbieter und die Route (Deployment oder Region), die die erste erfolgreiche Anfrage bedient haben, und hält spätere Anfragen mit demselben Schlüssel dort, bis dieser Anbieter ausfällt, das verwaltete Kontingent von Phaseo bei ihm aufgebraucht ist oder deine Routing-Richtlinie ihn nicht mehr zulässt. Bindungen gelten pro Workspace und so lange wie die Cache-Aufbewahrung des Anbieters. Siehe Anbieteraffinität.
Phaseo sendet einen Hash aus deiner Workspace-ID und dem Schlüssel an den Upstream, nie den Schlüssel selbst, sodass zwei Workspaces, die denselben Schlüssel wählen, keinen Anbieter-Cache teilen. Antworten geben den gesendeten Schlüssel zurück. Anbieter, deren API das Feld ablehnt, erhalten es nicht, und das Senden schließt nie einen Anbieter vom Routing aus. Ohne Schlüssel leitet Phaseo die Affinität aus der Anfrage ab, aber ein expliziter Schlüssel funktioniert bei langen Unterhaltungen und Agent-Sitzungen besser.
prompt_cache_options
Prompt-Cache-Modus und -Lebensdauer für OpenAI und Azure OpenAI GPT-5.6 und neuer (einschließlich GPT-6 Astra), DeepInfra und Moonshot AI.
Typ object · Felder mode (implicit oder explicit), ttl
Verwende
{"mode": "explicit", "ttl": "30m"}, damit OpenAI nur die Breakpoints cacht, die du setzt. Eine Lebensdauer, die die Route nicht unterstützt, etwa 12h bei Azure OpenAI oder 1h bei einem Moonshot-AI-Modell ohne 1-Stunden-Preis, wird entfernt und in X-Phaseo-Dropped-Params aufgeführt. Alle anderen Anbieter und OpenAI-Modelle vor GPT-5.6 erhalten kein prompt_cache_options; diese OpenAI-Modelle nutzen prompt_cache_retention. provider_options.openai.prompt_cache_options wird ebenfalls akzeptiert; der Wert auf oberster Ebene hat Vorrang.
cache_control
Auf oberster Ebene legt es eine Claude-Prompt-Cache-Richtlinie fest. Auf einem Inhaltsblock, einer Tool-Definition oder einem Tool-Ergebnis markiert es einen Cache-Breakpoint.
Typ object · Felder type, ttl, scope
Oberste Ebene. Wird bei Chat Completions, Responses und Messages akzeptiert. Es gilt für Claude bei Anthropic, Claude auf AWS, Amazon Bedrock und Google Vertex AI: Phaseo setzt bis zu vier Breakpoints entsprechend scope (all_text, last_user_message, agent oder none). Andere Anbieter ignorieren es. provider_options.anthropic.cache_control ist dieselbe Einstellung und hat Vorrang, wenn beide gesendet werden.
Auf einem Block. Phaseo sendet den Breakpoint an Claude-Routen, Alibaba Model Studio und Venice, wandelt ihn für OpenAI und Azure OpenAI GPT-5.6 und neuer in prompt_cache_breakpoint um und entfernt ihn bei anderen Anbietern. Das OpenAI-eigene prompt_cache_breakpoint: {"mode": "explicit"} wird auf denselben Blöcken akzeptiert und hat Vorrang, wenn ein Block beides hat.
Verwende type: "ephemeral" mit einem ttl von 5m (Standard) oder 1h. Anthropic akzeptiert höchstens vier Breakpoints pro Anfrage; markierst du mehr, behält Phaseo den ersten und die letzten drei. Siehe Prompt-Caching.
prompt_cache_retention
Prompt-Cache-Aufbewahrung bei OpenAI- und Azure-OpenAI-Modellen vor GPT-5.6.
Typ string · Werte in_memory, 24h
Phaseo sendet es nur an diese Modelle, und nur die von OpenAI aufgeführten Modelle akzeptieren 24h. GPT-5.6 und neuer verwenden prompt_cache_options.ttl, und andere Anbieter erhalten das Feld nicht. provider_options.openai.prompt_cache_retention wird ebenfalls akzeptiert; der Wert auf oberster Ebene hat Vorrang.
Routing- und Anbietereinstellungen
provider
Schränkt ein, welche Anbieter die Anfrage bedienen können und wie sie gereiht werden. routing wird als Alias akzeptiert. Siehe Routing und Fallbacks.
Der Abgleich von
quantizations ignoriert Groß- und Kleinschreibung, Leerzeichen, Bindestriche und Unterstriche und behandelt eindeutige Namen als Aliase, etwa float8 und FP8 oder bfloat16 und BF16. Angebote ohne Quantisierungsdaten werden ausgeschlossen, sobald der Filter gesetzt ist. Passt kein Angebot, schlägt die Anfrage mit einem Fehler fehl, der die angeforderten und verfügbaren Quantisierungen auflistet, statt zu einer anderen Variante zu routen.
provider_options
Anbieternative Einstellungen, die Phaseo nach Anbieter geschlüsselt durchreicht, während der Rest der Anfrage beim gemeinsamen Schema bleibt.
Typ object
google.cached_content benennt einen expliziten Gemini-Cache und funktioniert nur mit deinen eigenen Zugangsdaten: einem Google-API-Schlüssel bei Google AI Studio oder Vertex-AI-Zugangsdaten bei Vertex AI. Bei Vertex AI sendet Phaseo die Anfrage an das Projekt und den Standort im vollständigen Namen des Caches (projects/{project}/locations/{location}/cachedContents/{id}); ein Kurzname verwendet project_id und region aus deinem Service-Account-JSON. Mit den Zugangsdaten von Phaseo gibt die Anfrage 400 zurück. google.cache_control und google.cache_ttl werden akzeptiert, aber nicht an Google gesendet.
Verwende bevorzugt cache_control auf oberster Ebene für Claude, prompt_cache_options für OpenAI GPT-5.6 und neuer und prompt_cache_retention für ältere OpenAI-Modelle. Siehe Prompt-Caching.
Zusätze in der Antwort und Debugging
meta
Fügt der Antwort ein meta-Objekt mit Routing-Details hinzu, etwa meta.routing.dropped_params.
Typ boolean · Standard false
usage
Fordert die Nutzungsabrechnung im Antwort-Body an, statt sich auf Header oder das Dashboard zu verlassen.
Typ boolean · Standard nicht gesetzt