Was sich ändert
1
Erfasse die Proxy-Konfiguration
Liste alle Modell-Aliase, Fallbacks, Anbieterregeln, Wiederholungsrichtlinien, Budgets, Callbacks und Umgebungsvariablen auf, die deine aktuelle LiteLLM-Bereitstellung verwendet. Unterscheide gemeinsam genutzte Richtlinien von Einstellungen, die nur zu einer Anwendung gehören.
2
Ersetze den Proxy-Endpunkt
Behalte den OpenAI-kompatiblen Anfragecode bei und ändere Basis-URL und Schlüssel.
3
Ordne Aliase und Routing-Regeln zu
Prüfe jedes Produktionsmodell mit
GET /v1/models. Wenn Aufrufer interne Aliase benötigen, normalisiere sie an einer zentralen Stelle in der Anwendung, statt jede Anfrage zu bearbeiten.Verschiebe wiederverwendbare Prompts, Parameter und Anbietereinschränkungen in Presets. Richte die Rangfolge der Anbieter und Fallbacks über Routing und Fallbacks ein.4
Prüfe die Produktionsabläufe
Teste Streaming, Tools, strukturierte Ausgaben, Wiederholungen, Fehlerzuordnung und Callback-basierte Observability, die deine LiteLLM-Bereitstellung übernommen hat. Vergleiche Latenz, Ausgabe, Tokenverbrauch und Kosten, bevor du den Datenverkehr schrittweise umleitest.
Migrations-Checkliste
- LiteLLM-URLs, Schlüssel und Deployment-Abhängigkeiten wurden erfasst.
- Jedes Produktionsmodell und jeder Alias hat eine ausdrückliche Phaseo-Zuordnung.
- Gemeinsame Standards wurden in Presets oder an eine zentrale Anwendungsgrenze verschoben.
- Streaming, Tools und strukturierte Ausgaben funktionieren in Staging, sofern sie verwendet werden.
- Für benötigte Callbacks und Telemetrie gibt es einen geplanten Ersatz.
- Ein Rollback erfordert weiterhin nur eine Änderung von Endpunkt und Schlüssel.