メインコンテンツへスキップ
Phaseo は、他者が測定したベンチマークのスコアを、それぞれの出典へのリンクとともに公開します。Phaseo 自身はベンチマークを実行せず、スコアを 1 つに統合することもありません。

スコアの出典

すべてのスコアは、公開前に公開された出典か再現可能な評価ログが必要です。

正規化の意味

Phaseo は各ベンチマークを元の尺度のまま保持します。正規化するのはスコアそのものではなく、スコアを取り巻く記録です。
  1. 各結果を 1 つのベンチマーク ID に対応付け、異なる名前で呼ばれている同じベンチマークをまとめます。
  2. few-shot の数、ハーネス、推論の effort など設定が異なる場合は、既定に統合せずバリアントとして保持します。
  3. 各ベンチマークには並べ替えの方向があります。エラー率のように低いほど良いベンチマークでは、最も低いスコアが先頭になります。
  4. 出典へのリンクと自己申告のフラグは、スコアとともに保持されます。
自己申告のフラグは開示であり、却下ではありません。十分なコンテキストのないスコアは、出典に関するメモ付きで保存される場合があります。完全に検証されたリーダーボードの行と同等とは見なさないでください。

相違を報告する

  1. ベンチマークスコアの提出に記載された根拠を添えて issue を作成します。
  2. issue でレビューの質問に回答します。メンテナーは、検証済みの修正をデータベースエディターで公開します。
  3. 大規模な研究の提出については、Discord で調整してください。
カタログの読者向けには、公開ページのベンチマークの正規化で同じルールを説明しています。
最終更新日 2026年11月5日