नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Google: Gemini 3.5 Flash vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

average score जवळपास समान आहे: 6.8 vs 6.8. Gemini 3.5 Flash (minimal) चा benchmark खर्च कमी आहे: $0.108 vs $0.220. Gemini 3.5 Flash (minimal) वेगवान आहे: 1.57s vs 10.81s, pass rates 68.3% vs 71.4%.

शिफारस केलेले मॉडेलGemini 3.5 Flash (minimal)It has the best score here (6.8), while costing about 2.0x less than KAT-Coder-Pro V2.5.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक Gemini 3.5 Flash Gemini 3.5 Flash minimal प्रकाशन: 2026-05-19 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none प्रकाशन: 2026-07-14
स्कोअर 6.8 6.8
क्रमांक #88 #89
विश्वसनीयता 10.0 10.0
सुसंगतता 9.6 7.3
बरोबर चाचण्या
प्रति प्रयत्न पास दर 68.3% 71.4%
अस्थिर चाचण्या 1 7
एकूण रन 63 63
प्रति निकाल खर्च 0.767 1.992
एकूण खर्च $0.108 $0.220
इनपुट किंमत $1.500 / 1M $0.740 / 1M
आउटपुट किंमत $9.000 / 1M $2.960 / 1M
एकूण इनपुट टोकन्स 39,847 42,749
आउटपुट टोकन्स 5,277 63,338
रिझनिंग टोकन्स 0 0
प्रतिसाद वेळ (सरासरी) 1.57s 10.81s
प्रतिसाद वेळ (कमाल) 5.51s 53.57s
प्रतिसाद वेळ (एकूण) 33.02s 227.02s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#88 Gemini 3.5 Flash

minimal
खर्च
$0.041
वेळ
20.4s
टोकन्स
4,608 tok

#89 KAT-Coder-Pro V2.5

none
खर्च
$0.010
वेळ
29.0s
टोकन्स
3,439 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemini 3.5 Flash 5.6 9.9 33.3% 0 2.75s 8,122 3,456 0
KAT-Coder-Pro V2.5 6.1 4.7 66.7% 2 22.52s 7,893 22,440 0

झटपट तुलना

तुलना जोडी बदला