"model": "@release-summary" und ihre Eingabe, und du kannst eine Richtlinienänderung Aufrufer für Aufrufer ausrollen.
Die Anfrageform ist produktionsreif. Presets erklärt, wie die Einstellungen eines Presets mit der Anfrage zusammengeführt werden; dieses Rezept beschreibt den Rollout.
Einen Aufrufer auf ein Preset umstellen
1
Das Preset anlegen
Lege unter Einstellungen → Voreinstellungen
release-summary mit einem System-Prompt, den freigegebenen Modellen, Anbieterpräferenzen und Standardparametern wie temperature an. Oder mit einem Management-Schlüssel:2
Es über den Namen aufrufen
Sende das Preset als
model. Ein eigenes preset-Feld gibt es nicht.model in der Antwort ist das Modell, das geantwortet hat, und meta.routing.selected_provider der Anbieter.3
Prüfen, was das Preset angewendet hat
Öffne die Anfrage unter Einstellungen → Nutzung → Protokolle. Dort steht, welche Preset-Standards angewendet wurden. Ein Modell außerhalb der erlaubten Modelle des Presets schlägt mit
validation_error (Schlüsselwort preset_model_not_allowed) fehl, statt umgeleitet zu werden.Eine Routing-Entscheidung erklären
Wenn eine Anfrage nicht wie erwartet geroutet wurde, klappe bei der Anfrage unter Einstellungen → Nutzung → Protokolle Beobachtbarkeit des Routings auf. Dort findest du Antworten auf drei Fragen:
Eine Routing-Entscheidung erklären beschreibt jedes Feld.
Eine Richtlinienänderung ausrollen
- Veröffentliche die Änderung als neue Preset-Version oder lege für eine sehr andere Richtlinie einen neuen Slug an.
- Stelle einen Aufrufer mit geringem Risiko darauf um, zum Beispiel indem du ihn auf
@release-summary@v4oder eincanary-Label zeigen lässt. - Vergleiche seine Anfragedetails und Nutzungstrends mit denen der anderen Aufrufer.
- Stelle die übrigen Aufrufer um, sobald das Routing deinen Erwartungen entspricht. Für einen Rollback lässt du das Label auf die frühere Version zeigen.