openai/ ergänzt.
Client umstellen
Erstelle einen Schlüssel unter API-Schlüssel und füge ihn jeder Umgebung hinzu, in der die App läuft. Übergib ihn dann zusammen mit der Basis-URL an den bestehenden Client:OPENAI_API_KEY abzulegen, und entferne veraltete OPENAI_BASE_URL-Werte, damit kein anderer Client im Repository weiter OpenAI aufruft. AzureOpenAI-Clients wechseln zum normalen OpenAI-Client; Azure-Deployment-Namen werden auf dieselbe Weise Phaseo-Modell-IDs zugeordnet.
Modell-IDs zuordnen
Liste die IDs, die Phaseo bereitstellt, im Listenformat von OpenAI auf und prüfe jedes Produktionsmodell gegendata[].id:
format=openai ist die Antwort die seitenweise models-Liste von Phaseo und hat kein data-Array. Dasselbe gilt für client.models.list(): Übergib { query: { format: "openai" } } in Node oder extra_query={"format": "openai"} in Python. Die Standardliste enthält nur Modelle, die du jetzt aufrufen kannst; füge availability=all hinzu, um inaktive und demnächst verfügbare Modelle einzuschließen.
Was anders funktioniert
Testen und umstellen
Führe dieselben repräsentativen Prompts gegen die alte und die neue Konfiguration aus und vergleiche Ausgabeform, Latenz, Tokennutzung, Fehler und Kosten. Bevor du Traffic verschiebst:- der Phaseo-Schlüssel ist in Entwicklung, Staging und Produktion gesetzt;
- jede Produktions-Modell-ID erscheint in
GET /v1/models?format=openai; - eine Anfrage ohne und eine mit Streaming bestehen in Staging, dazu Tool-Aufrufe und strukturierte Ausgaben, falls die App sie nutzt;
- das Zurückrollen ist weiterhin nur eine Änderung von Basis-URL und Schlüssel.