Lektion 1 von 2 · 10 Minuten

Über Anbieter hinweg routen

Reihe, begrenze oder fixiere Anbieter und gib Fallback-Modelle für den Fall an, dass sie fehlschlagen.

Die meisten Modelle werden von mehreren Anbietern bedient. Für jede Anfrage behält Phaseo die Anbieter, die deine Regeln erlauben, reiht sie und ruft den besten auf. Schlägt dieser Anbieter fehl, versucht es den nächsten. Die Standardreihung balanced bewertet die Kosten pro erfolgreicher Antwort.

Das steuerst du mit dem Objekt provider (routing wird als Alias akzeptiert):

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order legt eine bevorzugte Reihenfolge fest; only und ignore erlauben oder blockieren Anbieter.
  • sort reiht nach price, latency oder throughput. Die Modellsuffixe :cheap, :fast und :nitro tun dasselbe und haben Vorrang vor sort.
  • max_price setzt Preisobergrenzen; required_execution_region, required_data_region und require_zero_data_retention schränken ein, wo und wie Daten verarbeitet werden.

Um einen Anbieter ohne Fallback auf andere Anbieter zu fixieren, setze ihn vor die Modell-ID: baseten:thinking-machines/inkling-small. Für regionales Routing der ganzen Anfrage sendest du Textanfragen stattdessen an eu.api.phaseo.app oder us.api.phaseo.app.

Um auf andere Modelle auszuweichen, gib sie in models an. Phaseo versucht zuerst model, dann jeden Eintrag der Reihe nach, aber erst, nachdem das vorherige Modell mit 429, 500, 502, 503 oder 504 geendet hat. Fehler wie 400, 401 oder 402 kommen sofort zurück. Jeder Versuch wird als eigene Anfrage abgerechnet, und das Feld model der Antwort nennt das Modell, das geantwortet hat. Ein Stream weicht nur vor seinem ersten Byte auf ein Fallback aus.

Prüfe dein Verständnis

Du sendest "model": "openai/gpt-6-astra" mit "models": ["anthropic/claude-sonnet-5.5"]. Das erste Modell gibt 400 validation_error zurück. Was passiert?

Wende es an

Deine Rechtsabteilung verlangt, dass Kunden-Prompts nur an Anbieter mit Zero Data Retention gehen und die App einen bestimmten Anbieter nie nutzt. Du willst nicht auf einen einzigen Anbieter fixieren. Was sendest du?

Antwort anzeigen

Behalte die einfache Modell-ID, damit Phaseo weiter zwischen Anbietern ausweichen kann, und ergänze "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Eine Fixierung mit provider:model würde das Fallback zwischen Anbietern abschalten, und das willst du nicht.

Das Wichtigste

Nutze provider, um Anbieter zu reihen und einzuschränken, ein Präfix provider:, um einen zu fixieren, und models, um bei wiederholbaren Fehlern auf andere Modelle auszuweichen.

Weiterführende Links

Dein Fortschritt wird in diesem Browser gespeichert.

Zuletzt geprüft am 17. November 2026