/v1/chat/completions), Responses (/v1/responses) et Anthropic Messages (/v1/messages). La prise en charge varie encore selon le modèle et le fournisseur : le tableau de démarrage rapide de chaque page de modèle indique les paramètres que ses fournisseurs actifs prennent en charge pour chaque endpoint. Pour des conseils de réglage, consultez Paramètres d’inférence.
Paramètres non pris en charge
Si le fournisseur qui sert une requête ne prend pas en charge l’un de ses paramètres d’échantillonnage facultatifs, Phaseo supprime ce paramètre : il n’est pas envoyé au fournisseur et la requête n’est pas rejetée, si bien que les clients qui envoient toujours les valeurs par défaut d’OpenAI continuent de fonctionner. Phaseo décide par fournisseur, d’abord d’après son profil de fournisseur, puis d’après les paramètres de la route dans le catalogue. Si une route ne déclare aucun paramètre, seule la vérification du catalogue est ignorée ; les paramètres que le profil du fournisseur marque comme non pris en charge sont tout de même supprimés, commetop_k sur Cohere ou stop sur Reflection.
Un
ttl de cache de prompt de 12h est aussi supprimé sur les routes qui ne peuvent pas utiliser le cache de 12 heures d’OpenAI, et signalé comme prompt_cache_options.ttl ou prompt_cache_breakpoint.ttl ; consultez Mise en cache des prompts.
Les réponses réussies listent les paramètres supprimés que le corps de la requête avait envoyés :
- dans l’en-tête
X-Phaseo-Dropped-Params, par exempleX-Phaseo-Dropped-Params: top_k, min_p; - dans
meta.routing.dropped_paramslorsque la requête définitmeta: true, par exemple[{"param": "top_k", "reason": "unsupported_by_provider"}].
Choisir le modèle
model
L’ID de modèle Phaseo à exécuter, par exemple openai/gpt-6-astra. Obligatoire. Utilisez l’ID affiché dans le démarrage rapide de la page du modèle ; c’est le choix le plus sûr pour l’automatisation et les intégrations durables. Un nom de préréglage comme @support-triage fonctionne aussi ici.
models
Modèles de secours, essayés dans l’ordre après model. model reste obligatoire et s’exécute toujours en premier. L’entrée suivante n’est essayée que lorsqu’une tentative échoue avec 429, 500, 502, 503 ou 504.
Type string[] · Entrées de 1 à 25 ; les doublons et les entrées égales à model sont ignorés · Exemple ["anthropic/claude-sonnet-5.5", "google/gemini-4-argon"]
- Chaque tentative est validée, journalisée et facturée comme une requête distincte. Le champ
modelde la réponse et la trace de routage indiquent le modèle qui a répondu. - Les requêtes en streaming ne basculent qu’avant le premier octet ; les tâches vidéo et musicales seulement à la soumission.
- Les fallbacks d’une route dynamique attachée sont prioritaires. Les préréglages sont acceptés comme entrées.
phaseo/autone peut pas être combiné avecmodels. - Les requêtes par lots, en temps réel et council rejettent
modelsavec400. - Les endpoints multipart acceptent des champs
modelsrépétés, des champsmodels[]ou un tableau JSON unique.
stream
Renvoie la sortie via Server-Sent Events au fur et à mesure de sa génération, au lieu d’un corps de réponse unique.
Type boolean · Par défaut false
Utilisez-le pour les interfaces de chat et les réponses longues. Laissez-le désactivé si vous voulez une réponse JSON unique, plus simple à réessayer et à analyser. Les appels d’outils et la sortie structurée peuvent être diffusés différemment selon le fournisseur. Consultez Streaming.
Échantillonnage
temperature
Le degré d’aléatoire du choix des tokens. Des valeurs basses donnent une sortie plus prudente et reproductible ; des valeurs élevées donnent plus de variété, mais moins de cohérence et de respect du schéma.
Type number · Plage 0–2 sur Chat Completions et Responses, 0–1 sur Messages · Par défaut celle du fournisseur (Phaseo n’envoie rien si le champ n’est pas défini)
Commencez entre 0.2 et 0.7, et restez bas pour l’extraction, la classification et le JSON. Réglez temperature ou top_p, pas les deux à la fois. Une température élevée sur un modèle fortement quantifié peut rendre la sortie instable.
top_p
Échantillonnage par noyau : le modèle choisit dans le plus petit ensemble de tokens dont la probabilité cumulée atteint top_p. Des valeurs basses donnent une sortie plus étroite et plus ciblée.
Type number · Plage 0–1 · Par défaut celle du fournisseur
0.9–1.0 avec une temperature modérée constitue une base raisonnable.
top_k
Limite l’échantillonnage aux k tokens les plus probables à chaque étape. Des valeurs basses rendent la sortie plus prévisible. Tous les fournisseurs ne le prennent pas en charge.
Type integer · Plage -1 ou plus sur Chat Completions, 0 ou plus sur Messages · Par défaut celle du fournisseur
min_p
Resserre l’échantillonnage en écartant les tokens sous un seuil de probabilité minimal.
Type number · Plage 0–1 · Par défaut celle du fournisseur
frequency_penalty
Pénalise les tokens en proportion du nombre de fois où ils sont déjà apparus. Augmentez-le lorsque le modèle tourne en boucle ou répète des phrases.
Type number · Plage -2–2 · Par défaut celle du fournisseur, généralement 0
presence_penalty
Pénalise tout token déjà apparu, ce qui pousse le modèle vers de nouveaux sujets et de nouvelles formulations.
Type number · Plage -2–2 · Par défaut celle du fournisseur, généralement 0
repetition_penalty
Un contrôle anti-répétition propre au fournisseur, distinct des deux pénalités ci-dessus. Son effet exact varie davantage selon le fournisseur.
Type number · Plage plus de 0 ; les fournisseurs acceptent souvent jusqu’à 2 · Par défaut celle du fournisseur
logit_bias
Rend des tokens précis plus ou moins probables. Les clés sont des ID de tokens du tokenizer du modèle ; les valeurs sont le biais à ajouter.
Type object (ID de token vers nombre) · Par défaut non défini
seed
Demande un échantillonnage avec graine, pour le débogage et les tests de régression. Une sortie identique n’est pas garantie d’un fournisseur à l’autre ni après des changements d’infrastructure du fournisseur.
Type integer · Par défaut non défini
Longueur de sortie et arrêt
max_tokens
Plafonne les tokens de sortie sur Chat Completions, et est obligatoire sur Messages. Utilisez-le pour contrôler le coût et la latence ; une valeur trop petite coupe la sortie.
Type integer · Plage 1 ou plus (0 ou plus sur Messages) · Par défaut celle du fournisseur sur Chat Completions
max_output_tokens
Plafonne les tokens de sortie sur Responses. Même rôle que max_tokens ; envoyez le nom utilisé par votre endpoint.
Type integer · Plage 1 ou plus · Par défaut celle du fournisseur
max_completion_tokens
Plafonne les tokens de sortie sur Chat Completions ; c’est le nom plus récent d’OpenAI pour max_tokens. Ne mélangez pas les deux dans une même requête.
Type integer · Plage 1 ou plus · Par défaut celle du fournisseur
stop
Une ou plusieurs séquences qui mettent fin à la génération, comme la fin d’un modèle de texte ou un marqueur de protocole. Sur Messages, le champ s’appelle stop_sequences et prend un tableau.
Type string ou string[] · Par défaut non défini
Probabilités des tokens
logprobs
Renvoie la log-probabilité de chaque token de sortie, pour l’évaluation, le classement et le calcul de scores de confiance.
Type boolean · Par défaut false
top_logprobs
Renvoie les tokens alternatifs les plus probables à chaque position, avec leurs log-probabilités. Nécessite logprobs: true.
Type integer · Plage 0–20
Outils
tools
Les outils que le modèle peut appeler. Utilisez le schéma d’outils d’OpenAI, sauf indication contraire dans la référence de l’endpoint ; Messages prend celui d’Anthropic. Déclarer un outil n’oblige pas le modèle à l’appeler.
Type array · Par défaut non défini
tool_choice
Indique si le modèle peut appeler des outils : none pour du texte uniquement, auto pour laisser le modèle décider, required pour forcer un appel, ou un objet qui désigne un outil.
Type string ou object
parallel_tool_calls
Autorise plusieurs appels d’outils dans un même tour. Définissez-le à false lorsque vos outils doivent s’exécuter un par un, par exemple lorsqu’ils ont des effets de bord ordonnés.
Type boolean · Par défaut celui du fournisseur (Phaseo n’envoie rien si le champ n’est pas défini)
max_tool_calls
Plafonne le nombre d’appels d’outils que le modèle effectue pour la requête.
Type integer · Plage 1 ou plus · Par défaut non défini
Sortie structurée
response_format
Demande du texte brut, du JSON ou une sortie conforme à un schéma JSON. Les formes acceptées dépendent de l’endpoint et du fournisseur.
Type string ou object · Par défaut celui de l’endpoint et du fournisseur
json_schema
Le schéma JSON auquel la sortie doit se conformer, défini dans response_format ({"type": "json_schema", "json_schema": {...}}). Gardez des schémas restreints et propres à la tâche pour un meilleur respect.
Type object
structured_outputs
Ce n’est pas un champ de requête. Sur une page de modèle, il signale les endpoints dont les fournisseurs actifs prennent en charge une sortie contrainte par un schéma. Demandez-la avec response_format.
Raisonnement
reasoning
Configure le raisonnement sur les modèles qui le prennent en charge.
Les champs non définis conservent la valeur par défaut du modèle. Un effort plus élevé aide sur les problèmes difficiles et coûte plus de latence et de tokens.
reasoning_effort
Le raccourci Chat Completions pour reasoning.effort.
Type string · Valeurs none, instant, minimal, low, medium, high, xhigh, max · Par défaut celle du modèle
reasoning_tokens
Ce n’est pas un champ de requête. Sur une page de modèle, il signale les routes qui indiquent des tokens de raisonnement ou acceptent un budget de raisonnement. Définissez le budget avec reasoning.max_tokens.
include_reasoning
Accepté sur Chat Completions pour compatibilité, et sans effet : le contenu et les résumés de raisonnement sont renvoyés dès que le modèle en produit. La sortie de raisonnement peut être volumineuse et tous les modèles ne la renvoient pas. Pour la réduire, baissez reasoning.effort ou définissez reasoning.enabled à false.
Type boolean
Niveau de service et mise en cache des prompts
service_tier
Choisit un niveau de vitesse et de prix sur Chat Completions, Responses et Messages, lorsque le modèle et le fournisseur le prennent en charge. Phaseo associe chaque valeur au réglage propre au fournisseur.
Type string · Par défaut standard
batch n’est pas un niveau et est rejeté ; utilisez l’API Batch. Avec un SDK Anthropic officiel pointé vers Phaseo, préférez les valeurs auto et standard_only d’Anthropic sur /v1/messages ; pour ultrafast, priority, flex ou fast, utilisez du HTTP brut ou Chat Completions et Responses. Consultez Niveaux de service.
prompt_cache_key
Garde les requêtes qui partagent un préfixe de prompt, comme les étapes d’une boucle d’agent, sur le fournisseur qui détient leur cache.
Type string · Par défaut non défini · Endpoints Chat Completions, Responses, Messages
Phaseo associe la clé au fournisseur et à la route (déploiement ou région) qui a servi la première requête réussie, et y maintient les requêtes suivantes portant la même clé jusqu’à ce que ce fournisseur échoue, que le quota géré de Phaseo chez lui soit épuisé ou que votre politique de routage ne l’autorise plus. Ces associations sont propres à chaque espace de travail et durent aussi longtemps que la rétention du cache du fournisseur. Consultez Affinité avec le fournisseur.
Phaseo envoie au fournisseur un hachage de l’ID de votre espace de travail et de la clé, jamais la clé brute : deux espaces de travail qui choisissent la même clé ne partagent donc pas un cache chez le fournisseur. Les réponses renvoient la clé que vous avez envoyée. Les fournisseurs dont l’API rejette le champ ne le reçoivent pas, et l’envoyer n’exclut jamais un fournisseur du routage. Sans clé, Phaseo déduit l’affinité de la requête, mais une clé explicite fonctionne mieux pour les longues conversations et les sessions d’agent.
prompt_cache_options
Mode et durée de vie du cache de prompt pour OpenAI et Azure OpenAI GPT-5.6 et versions ultérieures (y compris GPT-6 Astra), DeepInfra et Moonshot AI.
Type object · Champs mode (implicit ou explicit), ttl
Utilisez
{"mode": "explicit", "ttl": "30m"} pour qu’OpenAI ne mette en cache que les points d’arrêt que vous placez. Une durée de vie que la route ne peut pas utiliser, comme 12h sur Azure OpenAI ou 1h sur un modèle Moonshot AI sans prix pour 1 heure, est supprimée et listée dans X-Phaseo-Dropped-Params. Tous les autres fournisseurs, ainsi que les modèles OpenAI antérieurs à GPT-5.6, ne reçoivent pas prompt_cache_options ; ces modèles OpenAI utilisent prompt_cache_retention. provider_options.openai.prompt_cache_options est aussi accepté ; la valeur de niveau supérieur l’emporte.
cache_control
Au niveau supérieur, définit une politique de cache de prompt Claude. Sur un bloc de contenu, une définition d’outil ou un résultat d’outil, marque un point d’arrêt de cache.
Type object · Champs type, ttl, scope
Au niveau supérieur. Accepté sur Chat Completions, Responses et Messages. Il s’applique à Claude sur Anthropic, Claude sur AWS, Amazon Bedrock et Google Vertex AI : Phaseo place jusqu’à quatre points d’arrêt selon scope (all_text, last_user_message, agent ou none). Les autres fournisseurs l’ignorent. provider_options.anthropic.cache_control est le même réglage et l’emporte lorsque les deux sont envoyés.
Sur un bloc. Phaseo envoie le point d’arrêt aux routes Claude, à Alibaba Model Studio et à Venice, le convertit en prompt_cache_breakpoint pour OpenAI et Azure OpenAI GPT-5.6 et versions ultérieures, et le supprime pour les autres fournisseurs. Le prompt_cache_breakpoint: {"mode": "explicit"} propre à OpenAI est accepté sur les mêmes blocs et l’emporte lorsqu’un bloc a les deux.
Utilisez type: "ephemeral" avec un ttl de 5m (par défaut) ou 1h. Anthropic accepte au plus quatre points d’arrêt par requête ; si vous en marquez davantage, Phaseo garde le premier et les trois derniers. Consultez Mise en cache des prompts.
prompt_cache_retention
Rétention du cache de prompt sur les modèles OpenAI et Azure OpenAI antérieurs à GPT-5.6.
Type string · Valeurs in_memory, 24h
Phaseo ne l’envoie qu’à ces modèles, et seuls les modèles listés par OpenAI acceptent 24h. GPT-5.6 et les versions ultérieures utilisent prompt_cache_options.ttl, et les autres fournisseurs ne reçoivent pas le champ. provider_options.openai.prompt_cache_retention est aussi accepté ; la valeur de niveau supérieur l’emporte.
Routage et réglages des fournisseurs
provider
Restreint les fournisseurs qui peuvent servir la requête et la façon dont ils sont classés. routing est accepté comme alias. Consultez Routage et fallbacks.
La correspondance de
quantizations ignore la casse, les espaces, les traits d’union et les traits de soulignement, et traite les noms non ambigus comme des alias, comme float8 et FP8, ou bfloat16 et BF16. Les offres sans données de quantification sont exclues dès que le filtre est défini. Si aucune offre ne correspond, la requête échoue avec une erreur qui liste les quantifications demandées et disponibles, au lieu d’être routée vers une autre variante.
provider_options
Réglages natifs du fournisseur que Phaseo transmet tels quels, indexés par fournisseur, tandis que le reste de la requête suit le schéma commun.
Type object
google.cached_content désigne un cache Gemini explicite et ne fonctionne qu’avec votre propre identifiant : une clé API Google sur Google AI Studio, ou un identifiant Vertex AI sur Vertex AI. Sur Vertex AI, Phaseo envoie la requête au projet et à l’emplacement indiqués dans le nom complet du cache (projects/{project}/locations/{location}/cachedContents/{id}) ; un nom court utilise le project_id et la region de votre JSON de compte de service. Avec les identifiants de Phaseo, la requête renvoie 400. google.cache_control et google.cache_ttl sont acceptés mais pas envoyés à Google.
Préférez le cache_control de niveau supérieur pour Claude, prompt_cache_options pour OpenAI GPT-5.6 et versions ultérieures, et prompt_cache_retention pour les modèles OpenAI antérieurs. Consultez Mise en cache des prompts.
Informations supplémentaires dans la réponse et débogage
meta
Ajoute à la réponse un objet meta avec des détails de routage, comme meta.routing.dropped_params.
Type boolean · Par défaut false
usage
Demande la comptabilisation de l’utilisation dans le corps de la réponse, plutôt que de se fier aux en-têtes ou au tableau de bord.
Type boolean · Par défaut non défini