Von LLM Gateway migrieren

​

Was sich ändert

​

Vor dem Start

• Die aktuelle LLM-Gateway-Endpunkt- und API-Schlüsselkonfiguration.
• PHASEO_API_KEY in lokalen, Staging- und Produktionsumgebungen.
• Eine Referenzstichprobe zu Ausgabequalität, Latenz und Fehlerrate.

​

1) Erfasse die Integrationspunkte

• Suche nach der Verwendung von LLM_GATEWAY_*-Umgebungsvariablen.
• Finde alle Basis-URL-Angaben in der Laufzeitkonfiguration.
• Erfasse aktive Modell-IDs und Fallback-Ketten.
• Notiere gemeinsam genutzte Prompt-Standards, Anbieter-Zulassungs- oder Sperrregeln und Parameter-Presets, die in Gateway-Presets verschoben werden sollten.

​

2) Ändere Endpunkt und Zugangsdaten

// Before
import OpenAI from "openai";

const before = new OpenAI({
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  baseURL: "https://api.llmgateway.io/v1",
});

// After
import OpenAI from "openai";

const after = new OpenAI({
  apiKey: process.env.PHASEO_API_KEY,
  baseURL: "https://api.phaseo.app/v1",
});

curl -s "https://api.phaseo.app/v1/chat/completions" \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role":"user","content":"Hello"}]
  }'

​

3) Prüfe die Modellkompatibilität

curl -s "https://api.phaseo.app/v1/models" \
  -H "Authorization: Bearer $PHASEO_API_KEY" | jq '.data | length'

​

4) LLMGateway-Migrations-Checkliste

• Alle LLM_GATEWAY_*-Variablen wurden zugeordnet oder entfernt.
• Die Basis-URL wurde auf https://api.phaseo.app/v1 geändert.
• PHASEO_API_KEY ist in allen Deployment-Umgebungen konfiguriert.
• Produktionsmodell-IDs wurden mit /v1/models überprüft.
• Je eine Anfrage mit und ohne Streaming wurde in Staging geprüft.
• Fehlerbehandlung für ungültige Schlüssel und Modelle wurde erneut geprüft.
• Gemeinsame Prompt- und Routing-Standards wurden bei Bedarf in Presets verschoben.
• Generierungsabfragen über GET /v1/generations?id=<request_id> wurden erneut geprüft, damit fehlgeschlagene Anfragen bei replay_supported=true mit dem gespeicherten replay_request-Inhalt wiedergegeben werden können.

​

5) Prüfe und rolle aus

1. Führe deine Golden-Prompt-Suite aus und vergleiche Qualität, Latenz und Kosten mit der Basislinie.
2. Stelle sicher, dass fehlgeschlagene Staging-Anfragen über den von GET /v1/generations zurückgegebenen Replay-Inhalt wiederhergestellt werden können.
3. Veröffentliche hinter einem Canary-Schalter und erhöhe den Verkehrsanteil schrittweise, sobald die Ergebnisse stabil sind.
4. Beobachte Produktionsmetriken mindestens einen Release-Zyklus lang, bevor du die alte Konfiguration entfernst.

​

Validierungsbefehle

curl -s "https://api.phaseo.app/v1/health"
curl -s "https://api.phaseo.app/v1/models" -H "Authorization: Bearer $PHASEO_API_KEY"

• Führe in Staging je eine Anfrage mit und ohne Streaming aus.
• Spiele deine Golden Prompts erneut ab und vergleiche sie mit der Basislinie.

​

Nächste Schritte

• Von OpenRouter migrieren
• Von Vercel AI Gateway migrieren
• Schnellstart