Zum Hauptinhalt springen
Vergleiche, was ein Modell bei jedem Anbieter kostet, mit der Geschwindigkeit, mit der es Gateway-Traffic bedient hat, und bestätige die Favoriten dann mit deinen eigenen Prompts, bevor du Produktions-Traffic umstellst.

Die Metrik wählen, die für deine Arbeitslast zählt

Keine einzelne Punktzahl beweist, dass ein Modell für jede Arbeitslast die beste Wahl ist.

Preise vergleichen

Preislisten von Anbietern verwenden unterschiedliche Einheiten: pro Token, pro Million Tokens, pro Bild, pro Sekunde, pro Minute oder pro Anfrage. Phaseo behält jeden Preis in seiner eigenen Einheit und rechnet vergleichbare Textpreise für Katalogansichten und den Preisrechner auf 1 Million Tokens um. Vergleiche bei Textmodellen die Abrechnungseinheiten für Eingabe, zwischengespeicherte Eingabe, Cache-Schreiben, Reasoning und Ausgabe getrennt, sofern vorhanden. Medienmodelle behalten ihre eigene Abrechnungseinheit; vergleiche einen Videopreis pro Sekunde nur mit anderen Preisen pro Sekunde.
Katalogpreise schätzen eine Anfrage; sie sind kein Angebot für jede Nutzlast. Anbieterstufen, regionale Angebote, Batch-Preise, Cache-Verhalten und anfragespezifische Abrechnungseinheiten verändern den Endbetrag.
Nutze den Preisrechner für eine repräsentative Nutzlast und bestätige nach einer Testanfrage den abgerechneten Betrag in der Gateway-Nutzung.

Leistungsmetriken verstehen

Phaseo erfasst operative Zeitmessungen für Anfragen, die über das Gateway geroutet werden. TTFT, Ausgabegeschwindigkeit, TPOT und ITL erfordern eine Streaming-Antwort mit einer ersten Ausgabe, die Inhalt enthält. Stream-Frames nur mit Metadaten zählen nicht. Antworten ohne Streaming tragen trotzdem zu Anbieterdauer, Gateway-E2E und effektivem Durchsatz bei, ohne dass ein TTFT erfunden wird. Der Phaseo-Overhead ist die Zeit außerhalb des Aufrufs beim ausgewählten Anbieter: Gateway-Verarbeitung, Routing, Wiederholungen und Netzwerkeffekte. Er schwankt von Anfrage zu Anfrage, also lies ihn als Verteilung über ein festgelegtes Zeitfenster, nicht als feste Zahl.

Operative Daten richtig lesen

Leistungsseiten fassen den Live-Traffic des Gateways zusammen. Sie sind Beobachtungen, keine kontrollierten Benchmark-Läufe, und sie beschreiben eine Route über ein Zeitfenster, nicht das Modell selbst. Vergangene Latenz und Verfügbarkeit garantieren keine künftigen Ergebnisse. Ergebnisse verändern sich durch:
  • die Auswahl von Anbieter und Route
  • den Cloudflare-Ausführungsort und den Netzwerkpfad
  • Warteschlangen beim Anbieter oder regionale Auslastung
  • die Länge von Prompt und Ausgabe
  • Streaming- oder Nicht-Streaming-Verhalten
  • Wiederholungen, Abbrüche und Tool-Aufrufe
  • Aktualisierungen von Modell oder Anbieter im ausgewählten Zeitfenster
Öffentliche Diagramme können Perzentile wie P50, P90, P95 und P99 zeigen. Bei der Latenz ist niedriger besser. Beim Durchsatz ist höher besser, daher beschreibt ein niedrigeres Durchsatz-Perzentil den langsamen Rand. Notiere neben einem Ergebnis immer das ausgewählte Zeitfenster, die Route, die Region, die Stichprobenfilter und das Perzentil. Vergleiche keine zwei Screenshots mit unterschiedlichen Zeitfenstern, als stammten sie aus derselben Studie.

Eine reproduzierbare Arbeitslast-Studie durchführen

Grenze die Kandidaten mit öffentlicher Telemetrie ein und validiere die Favoriten dann mit deiner eigenen Prompt-Mischung.
  1. Wähle zwei oder drei routbare Modelle aus der Standardantwort von GET /v1/models.
  2. Erstelle einen bereinigten Prompt-Satz, der kurze, typische und lange Anfragen abbildet.
  3. Lege Endpunkt, Region, Streaming-Modus, Anbietereinschränkungen und Parallelität fest.
  4. Führe für jeden Prompt wiederholte Anfragen aus, statt dich auf eine einzelne Stichprobe zu verlassen.
  5. Erfasse Request-ID, ausgewählten Anbieter, Erfolg oder Fehler, Ausgabetokens, Gateway-TTFT, Anbieterdauer, Gateway-E2E, Phaseo-Overhead und Kosten.
  6. Vergleiche Verteilungen und Fehlermuster und bewahre die Rohergebnisse zusammen mit der Testkonfiguration auf.
Beispiel für ein Ergebnisschema:
Die Nullwerte sind Platzhalter. Veröffentliche Messwerte nur zusammen mit der Definition der Arbeitslast, der Stichprobenzahl, dem Zeitfenster und der Erlaubnis, die Daten offenzulegen. Ein Katalogeintrag bedeutet nicht, dass ein Modell routbar ist, also beginne mit der Standardantwort von GET /v1/models. Eine Benchmark-Punktzahl belegt nicht die Qualität für deine Prompt-Mischung; unter Benchmark-Methodik erfährst du, wie Punktzahlen unabhängig von der Gateway-Telemetrie bezogen werden. Um jede Anbieterroute, jede Fähigkeit und jeden Preis für ein Modell zu prüfen, nutze die Modell-Endpunkte-API oder Vergleichen. Für Vorfälle und die Fehleranalyse siehe Zuverlässigkeit und Status.
Zuletzt geändert am 5. November 2026