Was sich ändert
Vor dem Start
- Aktuelle Basis-URL und Schlüsselkonfiguration von Vercel AI Gateway.
PHASEO_API_KEYin lokalen, Test- und Produktionsumgebungen.- Eine kleine Prompt-Auswahl oder Integrationstests für Anfragen ohne und mit Streaming sowie verwendete Tool-Aufrufe.
1) Dokumentieren Sie die aktuelle Gateway-Anbindung
Suchen Sie die zentrale Stelle, an der Ihre Anwendung Modellanbieter oder API-Clients erstellt. Dort sollte die Migration ansetzen.- Finden Sie die Anbieter- oder Client-Fabrik Ihrer Anwendung.
- Listen Sie die in der Produktion verwendeten Modell-IDs auf.
- Halten Sie Standardwerte für Wiederholungsversuche, Zeitlimits und Ausweichrouten fest.
- Notieren Sie, ob Edge- und Serverlaufzeitumgebungen dieselbe Änderung benötigen.
- Ermitteln Sie gemeinsam verwendete Prompt- oder Parameterstandardwerte, die Gateway-Voreinstellungen werden sollten, statt in einzelnen AI-SDK-Aufrufen eingebettet zu bleiben.
2) Endpunkt und Schlüssel austauschen
Bei den meisten OpenAI-kompatiblen Clients müssen Sie nur Basis-URL und Schlüssel ersetzen.3) Funktionsgleichheit bestätigen
Führen Sie dieselbe Prompt-Auswahl über alten und neuen Pfad aus und vergleichen Sie Latenz, Ausgabeformat und Tokenverbrauch.- Prüfen Sie die Textgenerierung ohne Streaming.
- Prüfen Sie Streaming-Abschnitte über denselben Codepfad wie in der Produktion.
- Prüfen Sie Tool-Aufrufe, falls Ihre Anwendung davon abhängt.
- Stellen Sie sicher, dass sich die Fehlerzuordnung der Anwendung nicht geändert hat.
- Verschieben Sie dauerhafte Routingvorgaben und Anbietereinschränkungen in Voreinstellungen oder Routing und Fallbacks, statt sie in jeder Modellfabrik neu einzurichten.
4) Checkliste für Vercel AI SDK und Gateway
Gehen Sie diese Punkte durch, bevor Sie den Traffic erhöhen:- Basis-URL auf
https://api.phaseo.app/v1aktualisiert. PHASEO_API_KEYin jeder zuvor mit dem Vercel-Gateway-Schlüssel verwendeten Laufzeitumgebung eingerichtet.- Offiziellen Anbieter
@phaseo/ai-sdk-providereingebunden, wenn die Anwendung Vercel AI SDK direkt verwendet. - Der zentrale AI-SDK-Textgenerierungspfad funktioniert in der Testumgebung.
- Ein Streamingtest auf Anwendungsebene läuft unverändert durch.
- Tool-Aufrufe und strukturierte Ausgabeflüsse erneut geprüft, sofern verwendet.
- Alte und neue Ausgaben anhand einer kleinen Prompt-Auswahl verglichen.
- Rollback allein über Konfiguration oder Feature-Flag möglich.
- Gemeinsame Standardwerte für Prompts und Routing bei Bedarf in Voreinstellungen verschoben.
- Generierungsabfragen mit
GET /v1/generations?id=<request_id>geprüft, damit fehlgeschlagene Anfragen beireplay_supported=trueanhand der gespeichertenreplay_request-Nutzlast wiederholt werden können.
5) Risikoarmer Einführungsplan
- Stellen Sie die Änderung hinter einem Feature-Flag oder schrittweise bereit.
- Beginnen Sie mit internem Traffic oder einem sehr kleinen Anteil des Produktionsverkehrs.
- Überwachen Sie Latenz, Fehlerrate sowie Token- und Kostenabweichungen.
- Halten Sie beide Konfigurationen mindestens für einen Release-Zeitraum verfügbar.
Validierungsbefehle
- Führen Sie den wichtigsten Textgenerierungs-Integrationstest Ihrer Anwendung aus.
- Führen Sie einen Streamingtest in der Testumgebung aus.
- Vergleichen Sie die Ausgaben Ihrer wichtigsten Prompts, bevor Sie vollständig umstellen.