目標
- Python の呼び出しコードを小さく保つ
- モデルをコードに固定せず、プリセットの slug でルーティングする
- 厳密な構造化出力を要求する
- ルーティングやプラグインの動作をデバッグできるだけの応答メタデータを保持する
1. 共有クライアントから始める
2. 安定した既定値をプリセットに移す
次の設定を複数の呼び出し元で安定させるには、ダッシュボード -> 設定 -> プリセットでプリセットを作成します。- システムプロンプト
- モデルまたは許可モデルのリスト
- プロバイダーの優先設定
- 推論の設定
- 温度やその他の生成パラメーター
- 決定的な再実行が重要な場合の応答キャッシュポリシー
3. 厳密な JSON 形式を要求する
presetを使うと、ルーティングとプロンプトの既定値をアプリケーションコードの外で管理できます。response_formatで契約を明示できます。- ワークフローで許可されていれば、
pluginsでほぼ有効な不正 JSON を復元できます。 metaでルーティングとプラグイン実行の情報を保持し、デバッグに役立てられます。
4. JSON を解析し、運用上の ID を記録する
- ダッシュボードのリクエスト詳細ダイアログ
- ルーティング診断
- プラグインの実行メタデータ
5. 上書き設定を追加する前にデバッグする
想定と異なるプロバイダーにルーティングされた場合:- Gateway -> 使用量 でリクエストを開きます。
- ルーティング診断と候補プロバイダーを確認します。
- 構造化 JSON を使った場合は、プラグイン実行メタデータを確認します。
- ログで実際の動作を確認してからプリセットを変更します。
6. 再利用する場合はキャッシュとの互換性を保つ
プリセットで応答キャッシュを有効にしている場合:- プロンプトの文言を安定させる
- 応答スキーマを安定させる
- リクエストごとの不要なプロバイダー上書きを避ける
- 頻繁に変わるツールリストを避ける