Estruture a integração
- Envolva as chamadas ao Gateway em um único serviço ou cliente do SDK, para que uma mudança de modelo ou provedor fique em um só lugar. Veja Integração com o Gateway.
- Transmita as respostas por streaming para interfaces de chat, para que os usuários vejam os tokens assim que chegam. Veja Streaming.
- Coloque em fila o trabalho que não é urgente, como gerações em segundo plano e avaliações, para suavizar os picos de tráfego. A Batch API executa trabalhos grandes de forma assíncrona.
Mantenha as chaves em segredo
- Guarde as chaves de API em um gerenciador de segredos (AWS Secrets Manager, Doppler, 1Password), e não em arquivos
.envem produção. - Chame o Gateway a partir do seu backend e autentique nele os seus próprios aplicativos cliente, para que os clientes nunca tenham uma chave do Gateway.
- Registre em log só o prefixo de uma chave, como
phaseo_v1_sk_<kid>, nunca o segredo.
Repita com segurança
- Repita as respostas
429e5xxcom backoff exponencial e jitter. - Espere o tempo de
Retry-Afterantes de repetir uma solicitação limitada por taxa. - Confira nos registros de solicitações qual provedor atendeu cada solicitação, para perceber quando o tráfego passa para outro provedor.
Acompanhe os sinais certos
Veja Registros de solicitações e observabilidade. Mantenha os seus modelos de prompt, parâmetros e o tratamento das saídas documentados em um lugar onde a sua equipe possa revisá-los; as predefinições mantêm prompts e padrões compartilhados em um só lugar.