Ziel
- Prompt- und Parameter-Standardwerte vereinheitlichen.
- Festlegen, welche Anbieter bei einem Rollout oder aus Compliance-Gründen verwendet werden dürfen.
- Genügend Anfragekontext behalten, um die Routing-Entscheidung erklären zu können.
1. Preset erstellen
Erstelle unter Dashboard -> Einstellungen -> Presets ein Preset mit:- einen eindeutigen Namen und Slug
- einen System-Prompt
- freigegebene Modelle
- Anbieterpräferenzen
- Parameter-Standardwerte wie
temperature
2. Request-Body klein halten
Der Hauptvorteil von Presets ist, dass der Aufrufer nicht mehr bei jeder Anfrage dieselben Routing- und Prompt-Standardwerte wiederholen muss.3. Änderungen durch das Preset verstehen
Das Preset wird vor dem Provider-Routing angewendet:- fehlende Anfrageparameter werden aus dem Preset ergänzt
- der Preset-Prompt wird der Systemebene vorangestellt
- Anbieterpräferenzen verkleinern die Liste verfügbarer Anbieter, bevor sie sortiert wird
- Modellbeschränkungen werden früh geprüft, statt unbemerkt auf eine andere Route auszuweichen
4. Routing-Ergebnis untersuchen
Wenn eine Anfrage anders als erwartet geroutet wird, öffne sie unter Gateway -> Nutzung und prüfe:- berücksichtigte Anbieter
- gerankte Kandidaten
- Routing-Faktoren der einzelnen Kandidaten
- Sperren durch Workspace-Richtlinien oder Guardrails
- warum ein Anbieter übersprungen wurde
- warum eine Anfrage blockiert wurde
- warum ein günstigeres oder latenzärmeres Ziel den Zuschlag erhielt
5. Betriebsmuster
Nutze beim Ändern des Routing-Verhaltens dieses Rollout-Muster:- Erstelle einen neuen Preset-Slug für die neue Richtlinie.
- Stelle einen Aufrufer mit geringem Risiko auf das neue Preset um.
- Prüfe Anfragedetails und Aktivitätstrends.
- Weite den Rollout erst aus, wenn die Routing-Ergebnisse den Erwartungen entsprechen.