Die Metrik wählen, die für deine Arbeitslast zählt
Keine einzelne Punktzahl beweist, dass ein Modell für jede Arbeitslast die beste Wahl ist.
Preise vergleichen
Preislisten von Anbietern verwenden unterschiedliche Einheiten: pro Token, pro Million Tokens, pro Bild, pro Sekunde, pro Minute oder pro Anfrage. Phaseo behält jeden Preis in seiner eigenen Einheit und rechnet vergleichbare Textpreise für Katalogansichten und den Preisrechner auf 1 Million Tokens um. Vergleiche bei Textmodellen die Abrechnungseinheiten für Eingabe, zwischengespeicherte Eingabe, Cache-Schreiben, Reasoning und Ausgabe getrennt, sofern vorhanden. Medienmodelle behalten ihre eigene Abrechnungseinheit; vergleiche einen Videopreis pro Sekunde nur mit anderen Preisen pro Sekunde.Katalogpreise schätzen eine Anfrage; sie sind kein Angebot für jede Nutzlast. Anbieterstufen, regionale Angebote, Batch-Preise, Cache-Verhalten und anfragespezifische Abrechnungseinheiten verändern den Endbetrag.
Leistungsmetriken verstehen
Phaseo erfasst operative Zeitmessungen für Anfragen, die über das Gateway geroutet werden.
TTFT, Ausgabegeschwindigkeit, TPOT und ITL erfordern eine Streaming-Antwort mit einer ersten Ausgabe, die Inhalt enthält. Stream-Frames nur mit Metadaten zählen nicht. Antworten ohne Streaming tragen trotzdem zu Anbieterdauer, Gateway-E2E und effektivem Durchsatz bei, ohne dass ein TTFT erfunden wird.
Der Phaseo-Overhead ist die Zeit außerhalb des Aufrufs beim ausgewählten Anbieter: Gateway-Verarbeitung, Routing, Wiederholungen und Netzwerkeffekte. Er schwankt von Anfrage zu Anfrage, also lies ihn als Verteilung über ein festgelegtes Zeitfenster, nicht als feste Zahl.
Operative Daten richtig lesen
Leistungsseiten fassen den Live-Traffic des Gateways zusammen. Sie sind Beobachtungen, keine kontrollierten Benchmark-Läufe, und sie beschreiben eine Route über ein Zeitfenster, nicht das Modell selbst. Vergangene Latenz und Verfügbarkeit garantieren keine künftigen Ergebnisse. Ergebnisse verändern sich durch:- die Auswahl von Anbieter und Route
- den Cloudflare-Ausführungsort und den Netzwerkpfad
- Warteschlangen beim Anbieter oder regionale Auslastung
- die Länge von Prompt und Ausgabe
- Streaming- oder Nicht-Streaming-Verhalten
- Wiederholungen, Abbrüche und Tool-Aufrufe
- Aktualisierungen von Modell oder Anbieter im ausgewählten Zeitfenster
Eine reproduzierbare Arbeitslast-Studie durchführen
Grenze die Kandidaten mit öffentlicher Telemetrie ein und validiere die Favoriten dann mit deiner eigenen Prompt-Mischung.- Wähle zwei oder drei routbare Modelle aus der Standardantwort von
GET /v1/models. - Erstelle einen bereinigten Prompt-Satz, der kurze, typische und lange Anfragen abbildet.
- Lege Endpunkt, Region, Streaming-Modus, Anbietereinschränkungen und Parallelität fest.
- Führe für jeden Prompt wiederholte Anfragen aus, statt dich auf eine einzelne Stichprobe zu verlassen.
- Erfasse Request-ID, ausgewählten Anbieter, Erfolg oder Fehler, Ausgabetokens, Gateway-TTFT, Anbieterdauer, Gateway-E2E, Phaseo-Overhead und Kosten.
- Vergleiche Verteilungen und Fehlermuster und bewahre die Rohergebnisse zusammen mit der Testkonfiguration auf.
GET /v1/models. Eine Benchmark-Punktzahl belegt nicht die Qualität für deine Prompt-Mischung; unter Benchmark-Methodik erfährst du, wie Punktzahlen unabhängig von der Gateway-Telemetrie bezogen werden. Um jede Anbieterroute, jede Fähigkeit und jeden Preis für ein Modell zu prüfen, nutze die Modell-Endpunkte-API oder Vergleichen. Für Vorfälle und die Fehleranalyse siehe Zuverlässigkeit und Status.