ワークロードに重要な指標を選ぶ
あらゆるワークロードで最適なモデルであることを、1 つのスコアで証明することはできません。
料金を比較する
プロバイダーの料金表は、トークンあたり、100 万トークンあたり、画像あたり、秒あたり、分あたり、リクエストあたりなど、異なる単位を使います。Phaseo は各料金を元の単位のまま保持し、比較可能なテキストの料金は、カタログ表示と料金計算ツール向けに 100 万トークンあたりに換算します。 テキストモデルでは、入力、キャッシュされた入力、キャッシュ書き込み、推論、出力の課金項目がある場合、それぞれを個別に比較してください。メディアモデルは独自の課金単位を保ちます。秒あたりの動画料金は、他の秒あたりの料金とだけ比較してください。カタログの料金はリクエストの見積もりであり、あらゆるペイロードに対する見積書ではありません。プロバイダーのティア、リージョン別の提供内容、バッチ料金、キャッシュの動作、リクエスト固有の課金項目によって最終的な金額は変わります。
パフォーマンス指標を理解する
Phaseo は、Gateway を経由したリクエストの運用上のタイミングを記録します。
TTFT、Output speed、TPOT、ITL には、内容を含む最初の出力があるストリーミングレスポンスが必要です。メタデータのみのストリームフレームは含まれません。ストリーミングしないレスポンスも、TTFT を作り出すことなく、Provider duration、Gateway E2E、Effective throughput には反映されます。
Phaseo overhead は、選択したプロバイダー呼び出しの外側にかかる時間で、Gateway の処理、ルーティング、リトライ、ネットワークの影響を含みます。リクエストごとに変わるため、固定値ではなく、定めた期間での分布として読んでください。
運用データを正しく読む
パフォーマンスページは、実際の Gateway トラフィックを集計したものです。管理されたベンチマークの実行ではなく観測値であり、モデルそのものではなく、ある期間におけるルートを表します。過去のレイテンシーや稼働率は、将来の結果を保証するものではありません。 結果は次の要因で変動します。- プロバイダーとルートの選択
- Cloudflare の実行場所とネットワーク経路
- プロバイダーでのキューイングやリージョンの負荷
- プロンプトと出力の長さ
- ストリーミングか非ストリーミングか
- リトライ、キャンセル、ツール呼び出し
- 選択した期間中のモデルやプロバイダーの更新
再現可能なワークロード調査を行う
公開テレメトリーで候補を絞り込み、最終候補を自分のプロンプト構成で検証します。- 既定の
GET /v1/modelsレスポンスから、ルーティング可能なモデルを 2〜3 個選びます。 - 短い、典型的な、長いリクエストを代表する、機密情報を取り除いたプロンプトセットを作成します。
- エンドポイント、リージョン、ストリーミングモード、プロバイダーの制約、同時実行数を固定します。
- 1 つのサンプルに頼らず、各プロンプトでリクエストを繰り返し実行します。
- リクエスト ID、選択されたプロバイダー、成功またはエラー、出力トークン、Gateway TTFT、Provider duration、Gateway E2E、Phaseo overhead、コストを記録します。
- 分布と失敗の傾向を比較し、生の結果をテスト構成とともに保存します。
GET /v1/models レスポンスから始めてください。ベンチマークのスコアは、自分のプロンプト構成での品質を保証しません。スコアの出典が Gateway のテレメトリーとは別にどう扱われるかは、ベンチマークの方法論を参照してください。1 つのモデルのすべてのプロバイダールート、機能、料金を確認するには、モデルエンドポイント API または比較を使います。インシデントや障害の切り分けについては、信頼性とステータスを参照してください。