GET /v1/health で、モデルを今ルーティングできるかどうかは GET /v1/models で、ルートが信頼性目標を満たすかどうかは自分で行うテストで確認します。
現在のサービス状態を確認する
- Phaseo のステータスページを開き、現在のインシデントと過去のインシデント履歴を確認します。
GET /v1/healthを呼び出して、Gateway の最小限のヘルスチェックを行います。- 1 件のリクエストが失敗した場合は、サービス全体が停止していると判断する前に、そのリクエスト ID を控え、アクティビティまたは生成レコードを確認します。
公開ステータスページはサービスの状態を報告するものです。Phaseo は現在、契約上の公開稼働率 SLA を掲げていません。
モデルがルーティング可能か確認する
Phaseo のカタログには、Gateway がルーティングできる数より多くのモデルが掲載されています。カタログに載っているのは Phaseo がそのモデルを追跡しているという意味であり、公開ルートが存在するという意味ではありません。GET /v1/models は既定で、現在ルーティング可能なモデルのみを返します。
availability=all を追加します。本番トラフィックは、availability_status が active で、is_active_gateway が true のプロバイダー行にのみ送ってください。モデルページのステータスアイコンの意味はプロバイダーと Phaseo のステータスを参照してください。
active は、稼働率、すべてのリージョンでのアクセス、すべてのワークスペースで同じ商用条件を保証するものではありません。
パフォーマンス指標を読み取る
Phaseo のパフォーマンスデータは、Gateway を経由した実際のリクエストを集計したもので、管理された環境でのベンチマークではありません。
TTFT と Output speed には、内容を含む最初の出力があるストリーミングレスポンスが必要です。ストリーミングしないリクエストも処理時間と Effective throughput には反映されますが、TTFT には反映されません。
どの指標も、期間、ルート、リージョン、ストリーミングモード、パーセンタイルとあわせて読んでください。プロバイダーの負荷、プロンプトの長さ、出力の長さ、リトライ、ネットワーク状況はすべて結果に影響します。
完全な定義は、料金とパフォーマンスと Phaseo がレイテンシーとスループットを測定する方法を参照してください。
自分のワークロードで検証する
公開指標は傾向を示すものであり、ルートが本番の目標を満たすことを証明するものではありません。展開する前に、小規模で再現可能なテストを実行してください。- 機密性の高い本番データを取り除き、代表的なプロンプトの構成を維持します。
- モデル ID、エンドポイント、プロバイダーの制約、リージョン、ストリーミングモード、同時実行数を記録します。
- 1 件のリクエストではなく分布を比較できるだけの回数を繰り返します。
- 成功率、Gateway TTFT、Provider duration、Gateway E2E、出力トークン、最終コストを記録します。
- 無効なキー、無効なモデル、レート制限、プロバイダー利用不可による失敗をテストします。
- 別のエンジニアが結果を再現できるよう、リクエスト ID と正確な期間を保存します。
失敗したリクエストを切り分ける
- サービスのステータスを確認します。
- モデルが既定の
GET /v1/modelsレスポンスに引き続き含まれていることを確認し、そのエンドポイントを確認します。 - エラーとデバッグで HTTP ステータスとエラーコードを調べます。
- 一時的な
429と5xxレスポンスは、上限付きの指数バックオフでリトライします。レート制限を参照してください。 - サポートに問い合わせる際は、リクエスト ID を控えておきます。