AI BENCHY
Advertise here
#89

KAT-Coder-Pro V2.5

Kwaipilot リリース: 2026-07-14 テスト日時: 2026-07-14 11:05 kwaipilot/kat-coder-pro-v2.5::none
~700B 総数 (~72B アクティブ)MoEクローズド推定

概要

KAT-Coder-Pro V2.5 は AI BENCHY で 6.8 を記録し、順位は #89 です。信頼性は 10.0、成功率は 71.4%、総コストは $0.220、平均応答時間は 10.81s です。

モデル情報

調査日:2026-08-12

推定
パラメータ
~700B 総数 (~72B アクティブ)
アーキテクチャ
MoE
公開状況
クローズド
ライセンス
-

公開情報に基づく最善の推定値です。提供元はすべての値を公表していません。

スコア

6.8

一貫性

7.3

信頼性

10.0

合計出力トークン

63,338

合計入力トークン

42,749

入力価格

$0.740 / 1M

出力価格

$2.960 / 1M

正解テスト

誤答テスト数: 10

試行ごとの合格率: 71.4%

不安定なテスト

7

不安定なテストは、実行間で結果が混在しています(少なくとも1回合格かつ1回失敗)。

応答時間(平均)

10.81s

応答時間(最大): 53.57s

応答時間(合計): 227.02s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none
コスト
$0.010
時間
29.0s
トークン
3,439 tok

実行履歴

テスト日時 スコア 信頼性 正解テスト 合計コスト 比較する
2026-08-14 03:23 再テスト 6.7 10.0 $0.487 比較する
2026-07-16 23:43 新しいテストを追加 6.7 10.0 $0.476 比較する
2026-07-14 11:05 初回実行 6.8 10.0 $0.220 現在の実行

実行比較

実行ベンチマーク網羅率スコア一貫性信頼性正解テスト不安定なテスト合計出力トークン合計入力トークン合計コスト応答時間(平均)
2026-07-14 11:05 · 初回実行63/63 回6.87.310.011/21763,33842,749$0.22010.81s
2026-08-14 03:23 · 再テスト66/66 回6.77.010.011/228139,57298,508$0.48726.01s
差分+0.1+0.30.00-1-76234-55759-$0.267-15199ms

ベンチマーク網羅率が異なります: 63/63 回 (目標: テストごとに 3 回) と 66/66 回 (目標: テストごとに 3 回)。合計値と反復回数に左右される指標は直接比較できません。

この 2 つの実行では異なるベンチマークスイートが使われているため、差分にはモデル変化とスイート変化の両方が含まれます。

価格履歴

このモデルの OpenRouter における過去の価格データ。

日付 入力価格 出力価格
2026-07-14 11:25 $0.740 / 1M $2.960 / 1M

チャート

最初のモデルを選択し、次に2つ目のモデルをクリックして並列比較ページを開きます。

合計出力トークン

スコア vs 合計出力トークン

クイック比較

カテゴリ内訳

カテゴリ スコア 一貫性 正解テスト
反AIトリック 8.7 7.9
コーディング 6.1 4.7
複合 4.7 1.6
データ解析と抽出 10.0 10.0
ドメイン特化 3.6 7.2
汎用知能 4.8 3.2
指示追従 9.8 10.0
パズル解決 8.2 7.2
ツール呼び出し 10.0 10.0
雑学 3.0 10.0

比較対象モデル