AIベンチマーク結果とモデルの性能
日付ごとの個別ベンチマークスコアです。
| 組織 | モデル | 報告日 | 最高スコア | 情報 | 自己申告 | 出典 |
|---|---|---|---|---|---|---|
| Kimi K3 | 2026年7月16日 | 77.80% | KimiCode harness. | はい | 出典 | |
| DeepSeek V4.1 Flash 1017 | 2026年10月17日 | 29.10% | ProgramBench. Developer-reported percentage score (0–100), higher is better. DeepSeek-V4.1-Flash-1017 model card, release 2026-10-17, accessed 2026-10-17. Reasoning effort and any unlisted evaluation settings are not specified by this card. | はい | 出典 | |
| LongCat 2.5 | 2026年11月02日 | 25.50% | Program Bench, Almost Resolved; Claude Code harness v2.1.280; thinking enabled, temperature 1.0, top_p 0.95 unless stated; Meituan-reported in the LongCat-2.5 launch blog (accessed 2026-11-02) | はい | 出典 | |
| DeepSeek V4.1 Flash | 2026年9月10日 | 20.30% | Instruct model; reasoning_effort=100; Almost@1 | はい | 出典 | |
| LongCat 2.0 | 2026年6月30日 | 2.50% | Program Bench, Almost Resolved; Claude Code harness v2.1.280; thinking enabled, temperature 1.0, top_p 0.95 unless stated; Meituan-reported in the LongCat-2.5 launch blog (accessed 2026-11-02) | はい | 出典 |