ナビゲーション
AI BENCHY
Advertise here

AI BENCHY Compare

Google: Gemini 3.5 Flash vs Kwaipilot: KAT-Coder-Pro V2.5

概要

平均スコアは 6.8 vs 6.8 でほぼ同等です。 Gemini 3.5 Flash (minimal) の benchmark コストが低く、$0.108 vs $0.220 です。 Gemini 3.5 Flash (minimal) の方が高速で、1.57s vs 10.81s です、成功率は 68.3% vs 71.4% です。

おすすめモデルGemini 3.5 Flash (minimal)ここでは最高スコア(6.8)で、KAT-Coder-Pro V2.5 より約 2.0 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-07-14

指標 Gemini 3.5 Flash Gemini 3.5 Flash minimal リリース: 2026-05-19 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none リリース: 2026-07-14
スコア 6.8 6.8
順位 #88 #89
信頼性 10.0 10.0
一貫性 9.6 7.3
正解テスト
試行ごとの合格率 68.3% 71.4%
不安定なテスト 1 7
総実行回数 63 63
結果あたりのコスト 0.767 1.992
合計コスト $0.108 $0.220
入力価格 $1.500 / 1M $0.740 / 1M
出力価格 $9.000 / 1M $2.960 / 1M
合計入力トークン 39,847 42,749
出力トークン 5,277 63,338
推論トークン 0 0
応答時間(平均) 1.57s 10.81s
応答時間(最大) 5.51s 53.57s
応答時間(合計) 33.02s 227.02s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#88 Gemini 3.5 Flash

minimal
コスト
$0.041
時間
20.4s
トークン
4,608 tok

#89 KAT-Coder-Pro V2.5

none
コスト
$0.010
時間
29.0s
トークン
3,439 tok

スコア上位モデル

スコア vs 総コスト

応答時間(平均)

スコア vs 応答時間(平均)

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

コーディング スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Gemini 3.5 Flash 5.6 9.9 33.3% 0 2.75s 8,122 3,456 0
KAT-Coder-Pro V2.5 6.1 4.7 66.7% 2 22.52s 7,893 22,440 0

クイック比較

比較ペアを切り替え