Zum Hauptinhalt springen
Richte die Clients, die deinen LiteLLM-Proxy aufrufen, mit einem Phaseo-Schlüssel auf https://api.phaseo.app/v1 aus und ordne dann jeden model_name-Alias und jede Proxy-Einstellung bewusst zu. Wenn du LiteLLM behalten und Phaseo stattdessen als dessen Upstream nutzen willst, siehe LiteLLM-Integration.

Client umstellen

Jeder Alias braucht eine explizite Zuordnung zu einer ID aus GET /v1/models?format=openai. Wenn Aufrufer interne Aliase verwenden, übersetze sie in einer einzigen Funktion an der Client-Grenze, statt jede Anfrage zu bearbeiten.

Proxy-Konfiguration zuordnen

Erfasse Callbacks, Budgets und Wiederholungen, bevor du den Proxy entfernst: Diese hören stillschweigend auf, sobald er wegfällt. Ein Proxy leitet den Traffic eines ganzen Teams über den Schlüssel einer einzelnen Person und teilt sich daher deren Kontingent an Anfragen pro Minute, das bei einem neuen Workspace 10 beträgt. Prüfe die Gateway-Limits und vereinbare vor der Umstellung ein höheres Limit.

Testen und umstellen

Teste Streaming, Tools, strukturierte Ausgaben, Wiederholungen, die Zuordnung von Fehlern und jede Callback-basierte Telemetrie, die der Proxy übernommen hat. Vergleiche Latenz, Ausgabe, Tokennutzung und Kosten, bevor du Traffic schrittweise verschiebst. Vor der Umstellung:
  • jede LiteLLM-URL, jeder Schlüssel und jede LITELLM_*-Variable ist erfasst;
  • jeder Produktions-Alias hat eine explizite Phaseo-Zuordnung;
  • gemeinsame Standards liegen in Presets oder in einer Grenzfunktion;
  • benötigte Callbacks und Telemetrie haben einen Ersatz;
  • du hast entschieden, ob LiteLLM, Phaseo oder beide maßgeblich für die Ausgaben sind;
  • das Zurückrollen ist weiterhin nur eine Änderung von Basis-URL und Schlüssel.
Zuletzt geändert am 7. November 2026