判断したいことから始める
守りたいユーザー体験に合った指標を選びましょう。
単一のスコアだけで、あらゆるワークロードに最適なモデルだとは判断できません。
料金を比較する
プロバイダーの料金表では、トークン、100 万トークン、画像、秒、分、リクエスト単位などが使われます。Phaseo は元の単位を保持し、カタログ表示や料金計算ツールで比較できるよう料金を正規化します。 テキストモデルでは、入力、キャッシュ入力、キャッシュ書き込み、推論、出力の料金がある場合、それぞれ分けて比較します。メディアモデルでは元の課金単位を表示し、動画の秒単価をトークン単価のように示さないでください。カタログ料金はリクエストの見積もりに使うもので、あらゆるペイロードに対する確定料金ではありません。プロバイダーの階層、地域別オファー、バッチ料金、キャッシュの動作、リクエスト固有の課金項目によって最終額は変わります。
性能指標を理解する
PhaseoはGateway経由でルーティングされたリクエストの運用上の所要時間を記録します。
TTFT、出力速度、TPOT、ITL の計測には、最初の出力にコンテンツを含むストリーミング応答が必要です。 メタデータだけのストリームフレームは対象になりません。 非ストリーミング応答でも、架空の TTFT を設定せずにプロバイダー処理時間、Gateway E2E、有効スループットの算出に利用できます。
Phaseo オーバーヘッドは、選択したプロバイダーの呼び出し以外にかかった時間を切り分けます。 Gateway の処理、ルーティング、再試行、ネットワークの影響が含まれる場合があります。 固定されたプラットフォーム定数ではなく、定義した期間における分布として読み取ってください。
運用データを正しく読み取る
性能ページには、Gateway の実際のトラフィックが集計されています。 これは観測に基づく測定であり、管理されたベンチマーク実行でもモデル固有の特性でもありません。 結果は次の要因で変動します。- プロバイダーとルートの選択
- Cloudflare の実行場所とネットワーク経路
- プロバイダーのキューや地域負荷
- プロンプトと出力の長さ
- ストリーミングか非ストリーミングか
- 再試行、キャンセル、ツール呼び出し
- 選択した期間中のモデルまたはプロバイダーの更新
再現可能なワークロード調査を実施する
公開テレメトリで候補を絞り込み、最終候補を独自のプロンプト構成で検証します。- 既定の
GET /v1/modelsレスポンスから、ルーティング可能なモデルを 2~3 個選びます。 - 短いリクエスト、典型的なリクエスト、長いリクエストを含む、機密情報を除いたプロンプトセットを作成します。
- エンドポイント、地域、ストリーミングモード、プロバイダー制約、同時実行数を固定します。
- 1 回のサンプルに頼らず、各プロンプトでリクエストを繰り返します。
- リクエスト ID、選択されたプロバイダー、成功またはエラー、出力トークン数、Gateway TTFT、プロバイダー処理時間、Gateway E2E、Phaseo オーバーヘッド、コストを記録します。
- 分布と障害の種類を比較し、生データをテスト構成とともに保存します。
Phaseo が主張しないこと
- カタログに掲載されていても、そのモデルにルーティングできるとは限りません。既定の有効な利用可能性フィルターを使ってください。
- 公開運用テレメトリは、将来のレイテンシや稼働時間を保証するものではありません。
- ベンチマークスコアだけでは、独自のプロンプト構成で本番品質を満たすとは判断できません。
- 画面に表示される例示的なプロファイルは、モデルの実測値ではありません。
- 顧客のコメント、ロゴ、ワークロード結果は、許可と裏付け資料なしに公開しないでください。
次のステップ
信頼性とステータスを確認する
インシデント、モデルの現在のルーティング可否、指標の定義、障害対応を確認できます。
モデルを比較する
料金、メタデータ、利用可能なパフォーマンス指標を並べて比較します。
モデルのルートを調べる
1 つのモデルについて、プロバイダーのルート、機能、利用可能状況、料金を確認できます。
ベンチマークの方法論を確認する
ベンチマークの情報源やスコアが Gateway のテレメトリとは別に正規化される方法を確認できます。