Client umstellen
LLM_GATEWAY_*-Variable zu oder entferne sie, auch in CI- und Hosting-Einstellungen. Wenn die App @llmgateway/ai-sdk-provider nutzt, wechsle zu @phaseo/ai-sdk-provider wie in Von Vercel AI Gateway migrieren.
Modell-IDs zuordnen
Liste die IDs von Phaseo auf und prüfe jedes Produktionsmodell dagegen:alibaba/<model> bei LLM Gateway ist keine Phaseo-ID. Ordne jede ID dem Phaseo-Format <org>/<model> zu und behalte eine Anbieterfestlegung mit provider.only oder einer ID provider:org/model bei. Übersetze Aliase ohne Präfix wie gpt-4o in einer einzigen Funktion an der Client-Grenze statt an jeder Aufrufstelle.
Gateway-Funktionen zuordnen
Testen und umstellen
Führe deine Referenz-Prompts gegen beide Gateways aus und vergleiche Qualität, Latenz und Kosten. Prüfe zuerst die Endpunkte:PHASEO_API_KEYist in jeder Umgebung gesetzt;- jede Produktions-Modell-ID ist zugeordnet und aufgelistet;
- eine Anfrage ohne und eine mit Streaming bestehen in Staging;
- Fehler bei ungültigem Schlüssel und ungültigem Modell werden behandelt; ihre Bodies können von denen von LLM Gateway abweichen;
- eine fehlgeschlagene Staging-Anfrage lässt sich über
GET /v1/generationswiederherstellen; - gemeinsame Prompt- und Routing-Standards liegen dort in Presets, wo sie hingehören.