Preset Feedback はアルファ版です。チームによる本番 AI 応答の評価方法を参考に、API とダッシュボードを改良しています。さらに役立つ機能にするためのご意見は、Preset Feedback ページの Feedback ボタンからお寄せください。
始める前に
必要なもの:feedback:write権限を持つ Phaseo API キー- Phaseo が返すリクエスト ID
- 分析するプリセットの UUID
評価を記録する
ユーザーが回答を評価した後、またはアプリケーションが結果を判定した後にフィードバックを送信します。cURL
0 から 1 の範囲で指定します。
評価を選ぶ
実際に収集したシグナルに合う評価を選択します。- ユーザーの簡単な反応には
thumbs_upまたはthumbs_down - 評価済みの回答には
correct、partly_correct、incorrect - 運用上の問題には
bad_format、too_slow、too_expensive - 安全性に関する結果には
unsafeまたはrefused_incorrectly - 他の値が当てはまらない場合は
not_helpfulまたはother
プリセットを比較する
設定 → プリセット → Feedback を開いて、次の操作を行います。- 肯定・部分的・否定的な評価の割合を比較する
- 基準となるプリセットを選択する
- 日付、評価、メタデータのディメンションで絞り込む
- イベントのリクエスト、セッション、コメント、タグを確認する
metadataDimensions に追加します。任意の値やカーディナリティの高いコンテキストは metadata に保存してください。
API でフィードバックを読む
最近のイベントを一覧表示します:feedback:read が必要です。結果は認証済みワークスペースと呼び出し元に表示されるプリセットに限定されます。