429- und 5xx-Antworten trotzdem mit exponentiellem Backoff wiederholen.
Festlegen, wie Anbieter geordnet werden
Lege den Standard des Arbeitsbereichs unter Dashboard -> Einstellungen -> Routing fest, mit
phaseo settings update --routing-mode <mode> oder mit routing_mode über PATCH /v1/settings. Für eine einzelne Anfrage sendest du provider.sort oder routing.mode oder hängst ein Suffix an die Modell-ID an:
Ein Suffix überschreibt
routing.mode, provider.sort sowie die Modi von Voreinstellung und Arbeitsbereich. Zulassungslisten, Regionen, Guardrails und Preisobergrenzen gelten weiterhin.
Die Routing-Einstellungsseite hat außerdem Schalter für Beta- und Alpha-Kanäle, sodass Vorschau-Anbieter nur Traffic erhalten, wenn du dich dafür entscheidest.
Wie der Modus balanced Anbieter ordnet
Für Textanfragen (Chat Completions, Responses und Messages) schätzt balanced die Kosten pro erfolgreicher Antwort jedes Anbieters:
- Token: was eine typische Anfrage für dieses Modell beim Anbieter kostet, auf Basis der gemessenen Prompt- und Ausgabegrößen des Modells und der gemessenen Cache-Trefferquote des Anbieters.
- Warten: die Zeit bis zum ersten Token und bis zur vollständigen Antwort, umgerechnet in Dollar zum typischen Preis pro Sekunde des Modells.
- Fehler: die Summe geteilt durch die aktuelle Erfolgsquote des Anbieters, plus ein Aufschlag für Anbieterfehler und ein kleinerer für Ratenlimits.
Fallback-Modelle auf Anfrageebene
Liste Fallback-Modelle inmodels auf. Phaseo versucht zuerst model, dann jeden Eintrag der Reihe nach:
429, 500, 502, 503 oder 504 geendet hat. Ein 429 aus einem Phaseo-Budget oder einem Kontingent für kostenlose Modelle führt ebenfalls weiter, da ein anderes Modell in das verbleibende Limit passen kann. Dasselbe gilt für ein Modell, das kein Anbieter mehr bereitstellt, zum Beispiel ein eingestelltes.
Was nicht dazu führt. Client-Fehler wie 400, 401, 402, 403, 404, 408, 413 und 422 werden sofort zurückgegeben. Dasselbe gilt für Fehler, bevor das erste Modell läuft, etwa bei der Authentifizierung oder bei Ratenlimits des API-Schlüssels.
Regeln für die Liste:
modelist erforderlich; nurmodelszu senden gibt400zurück.modelsakzeptiert 1 bis 25 Einträge. Duplikate und Kopien vonmodelwerden ignoriert.- Einträge können Modell-IDs, anbieterqualifizierte IDs oder Voreinstellungen wie
@supportsein. - Jeder Versuch wird als eigene Anfrage validiert (Endpunkt, Parameter, Arbeitsbereichsmodelle, Guardrails, Voreinstellungen, Preise, BYOK). Ein Fallback, der die Anfrage nicht bedienen kann, wird übersprungen und protokolliert; er ersetzt nie den Fehler, den du sonst bekommen würdest. Ein Versuch, der mit einem bereits gemachten identisch ist, wird ebenfalls übersprungen.
model der Antwort nennt das Modell, das geantwortet hat, und sein Routing-Trace listet die ID der primären Anfrage, die Fallback-Reihenfolge und jeden früheren Versuch auf.
Streaming, Video und Musik. Ein Stream wechselt nur vor seinem ersten Byte zu einem Fallback; danach kommen Fehler im Stream an. Video und Musik wechseln nur, während der Job übermittelt wird.
Mit anderen Routing-Steuerungen. Fallbacks einer zugeordneten dynamischen Route haben Vorrang vor models, und ein von der Route festgelegtes Modell gilt weiterhin für jeden Versuch. Eine Voreinstellung wendet ihre eigenen Einschränkungen auf jeden Versuch an, in dem sie verwendet wird. phaseo/auto verwaltet eigene Fallbacks und lässt sich nicht mit models kombinieren.
Multipart-Endpunkte akzeptieren wiederholte
models-Felder, models[]-Felder oder einen JSON-Array-String. Siehe auch Ratenlimits und Fehler.
Einen Anbieter festlegen
Setze den Anbieter vor die Modell-ID, um genau diesen Anbieter zu nutzen:baseten:google/gemma-4-26b-a4b:free. Anbieterqualifizierte Modell-IDs beschreibt die vollständige Syntax und die Fehler.
Einschränken, welche Anbieter genutzt werden
Routing-Regeln an API-Schlüssel anhängen
Eine dynamische Route ist ein Ablauf aus Regeln, der einem oder mehreren Inferenz-API-Schlüsseln zugeordnet ist. Sie kann:- nach Feldern im Anfrage-Body, Headern, benutzerdefinierten
metadata, Endpunkt, Modell oder Sitzungs-ID verzweigen - Traffic prozentual für A/B-Tests und Rollouts aufteilen
- tägliche, wöchentliche oder monatliche Anfragen oder Kosten pro Schlüssel begrenzen
- Modell, Routing-Modus, Anbieterpräferenz und Fallback-Modelle (bis zu acht) wechseln
- cache- und sitzungsbewusste Anbieter-Affinität einschalten
/v1/routing/dynamic-routes mit einem Management-Schlüssel.
Benutzerdefinierte Metadaten stehen bei den OpenAI-kompatiblen Text-Endpunkten im Anfrage-Body:
Eine Unterhaltung bei einem Anbieter halten
Cache-bewusstes Routing ist bei Textgenerierung standardmäßig aktiv. Eine Anfrage, dieprompt_cache_key oder session_id sendet oder Caching mit cache_control aktiviert (auf oberster Ebene, in provider_options.anthropic oder als cache_control- bzw. prompt_cache_breakpoint-Markierung an einem Nachrichtenblock oder Tool), wird auf den Anbieter und die Route festgelegt, die ihre erste erfolgreiche Anfrage bedient haben. Andere Anfragen werden für 15 Minuten festgelegt, sobald ein Anbieter einen Cache-Lese- oder -Schreibvorgang für denselben Anfangskontext meldet, sofern gecachte Eingabe bei diesem Anbieter günstiger ist als normale Eingabe.
Schalte es für eine Anfrage mit
provider.cache_aware_routing: false ab, oder behalte die Cache-Affinität bei und ignoriere die Sitzung mit routing.session_affinity: false:
Eine Routing-Entscheidung erklären
Öffne Dashboard -> Einstellungen -> Nutzung -> Anfrageprotokolle, wähle eine Anfrage aus und klappe Beobachtbarkeit des Routings unter Antworten der Anbieter auf. Dort siehst du:- jeden eingestuften Anbieter mit seiner endgültigen Bewertung und welche ausgewählt und versucht wurden
- Anbieter, die vor der Rangfolge ausgeschlossen wurden, mit dem Grund
- Anbieter, die wegen ihres Rollout- oder Routing-Status herabgestuft wurden
- die Eingaben, Gewichte, Beiträge und Multiplikatoren jeder Bewertung
Was die Verfügbarkeit eines Anbieters senkt
Geografische Einschränkungen und Ratenlimits werden getrennt erfasst, weil sie nicht bedeuten, dass der Anbieter ausgefallen ist. Protokolliere in der Produktion Anfrage-IDs, Statuscodes und Modell-IDs, damit du Fehler diesen Traces zuordnen kannst.
Eingestellte Modelle
Ein eingestelltes Modell funktioniert weiter, solange es noch ein Anbieter bereitstellt. Danach schlagen Anfragen mit410 model_retired fehl, es sei denn, der Arbeitsbereich leitet sie mit dem Routing für eingestellte Modelle an einen Ersatz weiter. Deine eigene models-Liste wird immer zuerst versucht. Siehe Abkündigung und Einstellung von Modellen.
Hinweise zu BYOK
Mit routet und protokolliert Phaseo die Anfrage, während dein Anbieter die Modellnutzung abrechnet.
Beschränke jeden Schlüssel auf die Modelle und API-Schlüssel, die ihn brauchen. Damit eine fehlgeschlagene BYOK-Anfrage nicht mit Phaseo-Guthaben wiederholt wird, schalte den Fallback unter Dashboard -> Einstellungen -> BYOK ab oder setze
byok_fallback_enabled über PATCH /v1/settings mit einem Management-Schlüssel. Schlüssel fügst du an derselben Stelle hinzu oder mit POST /v1/byok und einem Management-Schlüssel.