Objetivo
- Padronizar os padrões de prompts e parâmetros.
- Limitar quais provedores podem ser usados em um rollout ou limite de conformidade.
- Manter contexto suficiente da solicitação para explicar por que ela foi roteada daquela forma.
1. Crie a predefinição
Em Painel -> Configurações -> Predefinições, crie uma predefinição com:- um nome e slug claros
- um prompt de sistema
- modelos aprovados
- preferências de provedores
- valores padrão de parâmetros, como
temperature
2. Mantenha o corpo da solicitação enxuto
A principal vantagem das predefinições é que quem faz a chamada não precisa repetir os mesmos padrões de roteamento e prompt em cada solicitação.3. Entenda o que a predefinição altera
A predefinição é aplicada antes do roteamento de provedores:- parâmetros ausentes na solicitação são preenchidos pela predefinição
- o prompt da predefinição é adicionado antes da camada de sistema
- as preferências de provedor reduzem a lista de provedores disponíveis antes da classificação
- restrições de modelo são verificadas antecipadamente, em vez de redirecionar silenciosamente
4. Depure o resultado do roteamento
Quando uma solicitação não for roteada como esperado, abra-a em Gateway -> Uso e inspecione:- provedores considerados
- candidatos classificados
- fatores de roteamento associados a cada candidato
- bloqueios por política do workspace ou proteções
- por que um provedor foi ignorado
- por que uma solicitação foi bloqueada
- por que um destino de menor custo ou latência ficou em primeiro lugar
5. Padrão operacional
Use este padrão de rollout ao alterar o comportamento do roteamento:- Crie um novo slug de predefinição para a nova política.
- Migre um chamador de baixo risco para a nova predefinição.
- Inspecione os detalhes das solicitações e as tendências de atividade.
- Amplie o rollout somente depois que os resultados de roteamento corresponderem às expectativas.