スコアの出典
すべてのスコアは、公開前に公開された出典か再現可能な評価ログが必要です。
正規化の意味
Phaseo は各ベンチマークを元の尺度のまま保持します。正規化するのはスコアそのものではなく、スコアを取り巻く記録です。- 各結果を 1 つのベンチマーク ID に対応付け、異なる名前で呼ばれている同じベンチマークをまとめます。
- few-shot の数、ハーネス、推論の effort など設定が異なる場合は、既定に統合せずバリアントとして保持します。
- 各ベンチマークには並べ替えの方向があります。エラー率のように低いほど良いベンチマークでは、最も低いスコアが先頭になります。
- 出典へのリンクと自己申告のフラグは、スコアとともに保持されます。
相違を報告する
- ベンチマークスコアの提出に記載された根拠を添えて issue を作成します。
- issue でレビューの質問に回答します。メンテナーは、検証済みの修正をデータベースエディターで公開します。
- 大規模な研究の提出については、Discord で調整してください。