Über Anbieter hinweg routen
Reihe, begrenze oder fixiere Anbieter und gib Fallback-Modelle für den Fall an, dass sie fehlschlagen.
Die meisten Modelle werden von mehreren Anbietern bedient. Für jede Anfrage behält Phaseo die Anbieter, die deine Regeln erlauben, reiht sie und ruft den besten auf. Schlägt dieser Anbieter fehl, versucht es den nächsten. Die Standardreihung balanced bewertet die Kosten pro erfolgreicher Antwort.
Das steuerst du mit dem Objekt provider (routing wird als Alias akzeptiert):
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
orderlegt eine bevorzugte Reihenfolge fest;onlyundignoreerlauben oder blockieren Anbieter.sortreiht nachprice,latencyoderthroughput. Die Modellsuffixe:cheap,:fastund:nitrotun dasselbe und haben Vorrang vorsort.max_pricesetzt Preisobergrenzen;required_execution_region,required_data_regionundrequire_zero_data_retentionschränken ein, wo und wie Daten verarbeitet werden.
Um einen Anbieter ohne Fallback auf andere Anbieter zu fixieren, setze ihn vor die Modell-ID: baseten:thinking-machines/inkling-small. Für regionales Routing der ganzen Anfrage sendest du Textanfragen stattdessen an eu.api.phaseo.app oder us.api.phaseo.app.
Um auf andere Modelle auszuweichen, gib sie in models an. Phaseo versucht zuerst model, dann jeden Eintrag der Reihe nach, aber erst, nachdem das vorherige Modell mit 429, 500, 502, 503 oder 504 geendet hat. Fehler wie 400, 401 oder 402 kommen sofort zurück. Jeder Versuch wird als eigene Anfrage abgerechnet, und das Feld model der Antwort nennt das Modell, das geantwortet hat. Ein Stream weicht nur vor seinem ersten Byte auf ein Fallback aus.
Prüfe dein Verständnis
Du sendest "model": "openai/gpt-6-astra" mit "models": ["anthropic/claude-sonnet-5.5"]. Das erste Modell gibt 400 validation_error zurück. Was passiert?
Wende es an
Deine Rechtsabteilung verlangt, dass Kunden-Prompts nur an Anbieter mit Zero Data Retention gehen und die App einen bestimmten Anbieter nie nutzt. Du willst nicht auf einen einzigen Anbieter fixieren. Was sendest du?
Antwort anzeigenAntwort ausblenden
Behalte die einfache Modell-ID, damit Phaseo weiter zwischen Anbietern ausweichen kann, und ergänze "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Eine Fixierung mit provider:model würde das Fallback zwischen Anbietern abschalten, und das willst du nicht.
Das Wichtigste
provider, um Anbieter zu reihen und einzuschränken, ein Präfix provider:, um einen zu fixieren, und models, um bei wiederholbaren Fehlern auf andere Modelle auszuweichen.Weiterführende Links
Zuletzt geprüft am 17. November 2026