temperature, top_p et une limite de sortie sur chaque requête pour arbitrer entre variété et reproductibilité, et entre longueur et coût. La quantification du modèle fixe le plafond de qualité ; ces paramètres déterminent comment le modèle choisit chaque token suivant à l’intérieur de ce plafond.
Contrôler le caractère aléatoire
temperature et top_p modifient tous deux le caractère aléatoire : ajustez-les l’un après l’autre. Un modèle quantifié sur peu de bits avec un caractère aléatoire élevé peut rendre la sortie nettement moins stable.
Réduire les répétitions
Limiter et arrêter la sortie
La limite de sortie estmax_tokens sur Chat Completions et Anthropic Messages, et max_output_tokens sur Responses. Elle plafonne le coût et la latence ; si elle est trop basse, la réponse est tronquée. Une réponse qui s’arrête tôt avec finish_reason: "length" a atteint la limite de sortie ; ce n’est pas une défaillance du modèle.
stop accepte des séquences qui terminent la sortie, ce qui facilite son cadrage et son analyse. Consultez Longueur de sortie et arrêt pour les champs de chaque endpoint.
Quand un fournisseur ne prend pas en charge un paramètre
Tous les fournisseurs ne prennent pas en chargetop_k, seed, stop ou les pénalités. Si le fournisseur qui sert la requête ne le fait pas, Phaseo retire ce paramètre au lieu de refuser la requête, et l’indique dans l’en-tête de réponse X-Phaseo-Dropped-Params. Les limites de sortie ne sont jamais retirées. Consultez Paramètres non pris en charge pour la liste complète.
Partir de ces valeurs
Dimensionnez
max_tokens selon la sortie attendue pour chaque tâche, plutôt qu’une seule grande valeur pour tout. Ajustez chaque tâche séparément plutôt qu’un profil unique pour tout. Pour les tâches créatives, augmentez progressivement le caractère aléatoire et relisez la sortie vous-même.
Reconnaître un mauvais réglage
Ajuster les paramètres
1
Choisissez d’abord le modèle et la quantification
Consultez Quantification.
2
Fixez un jeu d’évaluation
Utilisez les mêmes prompts à chaque exécution pour que les résultats soient comparables.
3
Modifiez un seul paramètre à la fois
Comparez la qualité, la latence et l’utilisation des tokens pour chaque valeur.
4
Enregistrez le résultat par tâche
Conservez des préréglages distincts pour chaque endpoint ou cas d’usage, afin que les appelants héritent des valeurs par défaut ajustées.