Choisir la métrique qui compte pour votre charge de travail
Aucun score ne prouve à lui seul qu’un modèle est le meilleur choix pour toutes les charges de travail.
Comparer les prix
Les grilles tarifaires des fournisseurs utilisent des unités différentes : par token, par million de tokens, par image, par seconde, par minute ou par requête. Phaseo conserve chaque prix dans son unité d’origine et convertit les prix de texte comparables en prix par million de tokens pour les vues du catalogue et le calculateur de prix. Pour les modèles de texte, comparez séparément les compteurs d’entrée, d’entrée en cache, d’écriture en cache, de raisonnement et de sortie lorsqu’ils existent. Les modèles média conservent leur propre unité de facturation ; ne comparez un prix vidéo à la seconde qu’avec d’autres prix à la seconde.Les prix du catalogue estiment une requête ; ce n’est pas un devis valable pour toutes les charges utiles. Les niveaux des fournisseurs, les offres régionales, les prix par lots, le comportement du cache et les compteurs propres à une requête modifient le montant final.
Comprendre les métriques de performance
Phaseo enregistre les mesures de temps opérationnelles des requêtes routées par le Gateway.
Le TTFT, la vitesse de sortie, le TPOT et l’ITL nécessitent une réponse en streaming dont la première sortie porte du contenu. Les trames de flux qui ne contiennent que des métadonnées ne comptent pas. Les réponses sans streaming peuvent tout de même contribuer à la durée chez le fournisseur, à l’E2E du Gateway et au débit effectif, sans TTFT inventé.
Le surcoût Phaseo correspond au temps passé en dehors de l’appel au fournisseur sélectionné : traitement par le Gateway, routage, nouvelles tentatives et effets réseau. Il varie selon la requête : lisez-le comme une distribution sur une fenêtre définie, et non comme une valeur fixe.
Lire correctement les données opérationnelles
Les pages de performances résument le trafic réel du Gateway. Ce sont des observations, pas des exécutions de benchmark contrôlées, et elles décrivent une route sur une fenêtre temporelle plutôt que le modèle lui-même. La latence et la disponibilité passées ne garantissent pas les résultats futurs. Les résultats varient en fonction :- du fournisseur et de la route sélectionnés
- du lieu d’exécution Cloudflare et du chemin réseau
- de la file d’attente du fournisseur ou de la charge régionale
- de la longueur du prompt et de la sortie
- du comportement avec ou sans streaming
- des nouvelles tentatives, des annulations et des appels d’outils
- des mises à jour du modèle ou du fournisseur pendant la fenêtre sélectionnée
Mener une étude de charge reproductible
Utilisez la télémétrie publique pour réduire la liste des candidats, puis validez les finalistes avec votre propre ensemble de prompts.- Choisissez deux ou trois modèles routables dans la réponse par défaut de
GET /v1/models. - Créez un ensemble de prompts nettoyé qui représente des requêtes courtes, typiques et longues.
- Fixez l’endpoint, la région, le mode de streaming, les contraintes de fournisseur et la concurrence.
- Répétez les requêtes pour chaque prompt au lieu de vous fier à un seul échantillon.
- Relevez l’ID de requête, le fournisseur sélectionné, la réussite ou l’erreur, les tokens de sortie, le TTFT du Gateway, la durée chez le fournisseur, l’E2E du Gateway, le surcoût Phaseo et le coût.
- Comparez les distributions et les modes d’échec, puis conservez les résultats bruts avec la configuration du test.
GET /v1/models. Un score de benchmark n’établit pas la qualité sur votre ensemble de prompts ; consultez la méthodologie des benchmarks pour savoir d’où viennent les scores, indépendamment de la télémétrie du Gateway. Pour examiner toutes les routes de fournisseur, capacités et prix d’un modèle, utilisez l’API des endpoints de modèle ou Comparer. Pour les incidents et le diagnostic des échecs, consultez Fiabilité et état.