"model": "@release-summary" と入力だけを送り、ポリシーの変更を呼び出し元ごとに 1 つずつ展開できるようになります。
このリクエストの形は本番環境で使えます。プリセットの設定がリクエストとどう統合されるかはプリセットで説明しています。このレシピでは展開を扱います。
呼び出し元をプリセットに移行する
1
プリセットを作成する
設定 → プリセット で、システムプロンプト、承認済みのモデル、プロバイダーの優先設定、
temperature などの既定のパラメーターを持つ release-summary を作成します。管理キーを使って作成することもできます。2
名前で呼び出す
プリセットを レスポンスの
model として送ります。別の preset フィールドはありません。model は応答したモデル、meta.routing.selected_provider はプロバイダーです。3
プリセットが適用した内容を確認する
設定 → 使用量 → ログ でリクエストを開きます。どのプリセットの既定値が適用されたかが表示されます。プリセットで許可されていないモデルは、別のモデルに振り替えられるのではなく、
validation_error(キーワード preset_model_not_allowed)で失敗します。ルーティングの判断を説明する
リクエストが想定どおりにルーティングされなかった場合は、設定 → 使用量 → ログ でリクエストの ルーティングの可観測性 を展開します。次の 3 つの疑問に答えられます。
各フィールドの説明はルーティングの判断を説明するを参照してください。
ポリシーの変更を展開する
- 変更をプリセットの新しいバージョンとして公開します。ポリシーが大きく異なる場合は、新しいスラッグを作成します。
- リスクの低い呼び出し元を 1 つ移行します。たとえば、
@release-summary@v4やcanaryラベルを指すようにします。 - そのリクエストの詳細と使用量の推移を、他の呼び出し元と比較します。
- ルーティングが想定どおりになったら、残りの呼び出し元を移行します。ロールバックするには、ラベルを以前のバージョンに向けます。