#38 KAT-Coder-Pro V2.5
low- コスト
- $0.016
- 時間
- 47.6s
- トークン
- 5,182 tok
AI BENCHY Compare
Kwaipilot: KAT-Coder-Pro V2.5 vs Meta: Muse Spark 1.1
概要
KAT-Coder-Pro V2.5 (low) が平均スコアでリードし、8.0 vs 7.8 です。 KAT-Coder-Pro V2.5 (low) の benchmark コストが低く、$0.220 vs $1.440 です。 KAT-Coder-Pro V2.5 (low) の方が高速で、10.44s vs 29.16s です、成功率は 71.4% vs 69.8% です。
おすすめモデルKAT-Coder-Pro V2.5 (low)ここでは最高スコア（8.0）で、Muse Spark 1.1 (high) より約 6.6 倍低コストです。
ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-07-16
| 指標 | KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low | Muse Spark 1.1 Muse Spark 1.1 high |
|---|---|---|
| スコア | 8.0 | 7.8 |
| 順位 | #38 | #41 |
| 信頼性 | 9.9 | 10.0 |
| 一貫性 | 7.3 | 8.1 |
| 正解テスト | ||
| 試行ごとの合格率 | 71.4% | 69.8% |
| 不安定なテスト | 7 | 5 |
| 総実行回数 | 63 | 61 |
| 結果あたりのコスト | 1.991 | 11.997 |
| 合計コスト | $0.220 | $1.440 |
| 入力価格 | $0.740 / 1M | $1.250 / 1M |
| 出力価格 | $2.960 / 1M | $4.250 / 1M |
| 合計入力トークン | 42,750 | 64,900 |
| 出力トークン | 2,167 | 3,577 |
| 推論トークン | 61,133 | 316,055 |
| 応答時間（平均） | 10.44s | 29.16s |
| 応答時間（最大） | 51.34s | 196.03s |
| 応答時間（合計） | 219.17s | 583.18s |
生成ショーケース
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#41 Muse Spark 1.1
high- コスト
- $0.039
- 時間
- 50.1s
- トークン
- 9,423 tok
スコア上位モデル
スコア vs 総コスト
応答時間（平均）
スコア vs 応答時間（平均）
合計出力トークン
スコア vs 合計出力トークン
カテゴリ内訳
| 反AIトリック | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 6.9 | 5.8 | 75.0% | 2 | 4.20s | 672 | 277 | 4,228 | |
| Muse Spark 1.1 | 7.5 | 8.4 | 66.7% | 1 | 8.60s | 2,334 | 516 | 13,023 |
| コーディング | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 7.8 | 10.0 | 66.7% | 0 | 24.87s | 7,893 | 402 | 24,945 | |
| Muse Spark 1.1 | 10.0 | 10.0 | 100.0% | 0 | 22.92s | 8,562 | 349 | 36,039 |
| 複合 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 14.59s | 15,132 | 394 | 3,391 | |
| Muse Spark 1.1 | 4.5 | 2.1 | 66.7% | 1 | 62.41s | 25,559 | 1,035 | 32,073 |
| データ解析と抽出 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.19s | 7,776 | 288 | 1,917 | |
| Muse Spark 1.1 | 10.0 | 10.0 | 100.0% | 0 | 8.40s | 7,827 | 240 | 5,907 |
| ドメイン特化 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 4.1 | 4.4 | 44.5% | 2 | 17.52s | 771 | 35 | 16,877 | |
| Muse Spark 1.1 | 3.5 | 4.4 | 33.3% | 2 | 67.39s | 1,272 | 66 | 64,456 |
| 汎用知能 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 4.1 | 2.7 | 33.3% | 1 | 2.32s | 516 | 99 | 412 | |
| Muse Spark 1.1 | 10.0 | 10.0 | 100.0% | 0 | 7.73s | 906 | 116 | 3,390 |
| 指示追従 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 2.53s | 699 | 83 | 1,008 | |
| Muse Spark 1.1 | 6.4 | 6.0 | 66.7% | 1 | 7.81s | 1,527 | 193 | 7,158 |
| パズル解決 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 6.4 | 4.4 | 77.8% | 2 | 3.11s | 696 | 289 | 1,820 | |
| Muse Spark 1.1 | 7.8 | 9.9 | 66.7% | 0 | 69.96s | 1,938 | 225 | 140,780 |
| ツール呼び出し | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 18.45s | 8,391 | 282 | 834 | |
| Muse Spark 1.1 | 9.6 | 10.0 | 100.0% | 0 | 9.88s | 14,363 | 795 | 2,938 |
| 雑学 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間（平均） | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| KAT-Coder-Pro V2.5 | 3.0 | 10.0 | 0.0% | 0 | 17.06s | 204 | 18 | 5,701 | |
| Muse Spark 1.1 | 3.0 | 10.0 | 0.0% | 0 | 22.93s | 612 | 42 | 10,291 |
クイック比較
比較ペアを切り替え
Muse Spark 1.1highvsQwen3.6 PlusmediumMuse Spark 1.1highvsGPT-5.6 TerramediumClaude Sonnet 5mediumvsMuse Spark 1.1highClaude Sonnet 4.6mediumvsMuse Spark 1.1highMuse Spark 1.1highvsGrok 4.5lowKAT-Coder-Pro V2.5lowvsQwen3.5 Plus 2026-02-15mediumKAT-Coder-Pro V2.5lowvsGPT-5.4 MinimediumMuse Spark 1.1highvsQwen3.5-27BmediumKAT-Coder-Pro V2.5lowvsGLM 5.2highGemini 3.1 Flash Lite PreviewmediumvsMuse Spark 1.1highMuse Spark 1.1highvsQwen3.5 Plus 2026-04-20mediumGemini 3.1 Flash LitemediumvsMuse Spark 1.1high