Die Integration strukturieren
- Gateway-Aufrufe in einem Dienst oder SDK-Client kapseln, damit ein Modell- oder Anbieterwechsel an einer Stelle bleibt. Siehe Integration mit dem Gateway.
- Antworten an Chat-Oberflächen streamen, damit Nutzer die Tokens sehen, sobald sie ankommen. Siehe Streaming.
- Nicht dringende Arbeit in eine Warteschlange stellen, etwa Hintergrundgenerierungen und Evaluierungen, um Traffic-Spitzen zu glätten. Die Batch-API führt große Jobs asynchron aus.
Schlüssel geheim halten
- Speichere API-Schlüssel in der Produktion in einem Secrets-Manager (AWS Secrets Manager, Doppler, 1Password) statt in
.env-Dateien. - Rufe das Gateway aus deinem Backend auf und authentifiziere deine eigenen Client-Apps gegenüber diesem, damit Clients nie einen Gateway-Schlüssel besitzen.
- Logge nur das Präfix eines Schlüssels, etwa
phaseo_v1_sk_<kid>, nie das Geheimnis.
Sicher wiederholen
- Wiederhole
429- und5xx-Antworten mit exponentiellem Backoff und Jitter. - Warte
Retry-Afterab, bevor du eine ratenbegrenzte Anfrage wiederholst. - Prüfe in den Anfrageprotokollen, welcher Anbieter jede Anfrage bedient hat, damit du bemerkst, wenn Traffic auf einen anderen Anbieter ausweicht.
Die richtigen Signale beobachten
Siehe Anfrageprotokolle und Observability. Dokumentiere deine Prompt-Vorlagen, Parameter und die Ausgabeverarbeitung dort, wo dein Team sie prüfen kann; Presets halten gemeinsame Prompts und Standardwerte an einem Ort.