temperature, top_p e um limite de saída em cada solicitação para equilibrar variedade e repetibilidade, e tamanho e custo. A quantização do modelo define o teto de qualidade; esses parâmetros decidem como o modelo escolhe cada próximo token dentro desse teto.
Controle a aleatoriedade
temperature e top_p alteram a aleatoriedade, então ajuste um de cada vez. Um modelo quantizado com poucos bits e com alta aleatoriedade pode deixar a saída visivelmente menos estável.
Reduza a repetição
Limite e interrompa a saída
O limite de saída émax_tokens em Chat Completions e Anthropic Messages, e max_output_tokens em Responses. Ele limita o custo e a latência; se ficar baixo demais, a resposta é truncada. Uma resposta que para antes com finish_reason: "length" atingiu o limite de saída; não é uma falha do modelo.
stop recebe sequências que encerram a saída, o que facilita delimitar e interpretar a saída. Consulte Tamanho da saída e interrupção para ver os campos de cada endpoint.
Quando um provedor não aceita um parâmetro
Nem todos os provedores aceitamtop_k, seed, stop ou as penalidades. Se o provedor que atende a solicitação não aceitar, o Phaseo descarta esse parâmetro em vez de rejeitar a solicitação e o lista no cabeçalho de resposta X-Phaseo-Dropped-Params. Os limites de saída nunca são descartados. Consulte Parâmetros não compatíveis para ver a lista completa.
Comece por estes valores
Dimensione
max_tokens para a saída que você espera de cada tarefa, e não use um único valor alto para tudo. Ajuste cada tarefa separadamente em vez de usar um único perfil para tudo. Em tarefas criativas, aumente a aleatoriedade aos poucos e revise a saída manualmente.
Reconheça uma configuração ruim
Ajuste os parâmetros
1
Escolha primeiro o modelo e a quantização
Consulte Quantização.
2
Fixe um conjunto de avaliação
Use os mesmos prompts em todas as execuções para que os resultados sejam comparáveis.
3
Altere um parâmetro de cada vez
Compare a qualidade, a latência e o uso de tokens para cada valor.
4
Salve o resultado por tarefa
Mantenha predefinições separadas para cada endpoint ou caso de uso, para que quem faz as chamadas herde os padrões ajustados.