"model": "@release-summary" e a entrada, e você consegue implantar uma mudança de política um chamador por vez.
O formato da solicitação está pronto para produção. Predefinições explica como as configurações de uma predefinição se combinam com a solicitação; esta receita trata da implantação.
Migre um chamador para uma predefinição
1
Crie a predefinição
Em Configurações → Predefinições, crie
release-summary com um prompt de sistema, os modelos aprovados, as preferências de provedor e parâmetros padrão como temperature. Ou com uma chave de gerenciamento:2
Chame pelo nome
Envie a predefinição como
model. Não existe um campo preset separado.model na resposta é o modelo que respondeu, e meta.routing.selected_provider é o provedor.3
Confira o que a predefinição aplicou
Abra a solicitação em Configurações → Uso → Registros. Ali aparecem os padrões da predefinição que foram aplicados. Um modelo fora dos modelos permitidos da predefinição falha com
validation_error (palavra-chave preset_model_not_allowed) em vez de ser roteado para outro.Explique uma decisão de roteamento
Quando uma solicitação não foi roteada como você esperava, expanda Observabilidade do roteamento na solicitação em Configurações → Uso → Registros. Ela responde a três perguntas:
Explique uma decisão de roteamento descreve cada campo.
Implante uma mudança de política
- Publique a mudança como uma nova versão da predefinição ou crie um novo slug para uma política muito diferente.
- Migre um chamador de baixo risco para ela, por exemplo apontando-o para
@release-summary@v4ou para um rótulocanary. - Compare os detalhes das solicitações e as tendências de uso dele com os dos outros chamadores.
- Migre os demais chamadores quando o roteamento corresponder ao que você espera. Para reverter, aponte o rótulo para a versão anterior.