AI BENCHY Compare

Google: Gemini 3 Flash Preview vs Kwaipilot: KAT-Coder-Air V2.5

सारांश

Gemini 3 Flash Preview (medium) average score मध्ये पुढे आहे: 9.6 vs 6.2. KAT-Coder-Air V2.5 (high) चा benchmark खर्च कमी आहे: $0.064 vs $0.667. KAT-Coder-Air V2.5 (high) वेगवान आहे: 11.02s vs 18.64s, pass rates 98.4% vs 46.0%.

शिफारस केलेले मॉडेलGemini 3 Flash Preview (medium)It has the strongest score in this comparison (9.6) and the best overall balance of cost and response time across all 2 models.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक	Gemini 3 Flash Preview Gemini 3 Flash Preview medium प्रकाशन: 2025-12-17	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high प्रकाशन: 2026-07-14

मेट्रिक	Gemini 3 Flash Preview Gemini 3 Flash Preview medium प्रकाशन: 2025-12-17	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high प्रकाशन: 2026-07-14
स्कोअर	9.6	6.2
क्रमांक	#2	#110
विश्वसनीयता	10.0	9.7
सुसंगतता	9.7	7.6
बरोबर चाचण्या
प्रति प्रयत्न पास दर	98.4%	46.0%
अस्थिर चाचण्या	1	6
एकूण रन	63	63
प्रति निकाल खर्च	3.335	0.910
एकूण खर्च	$0.667	$0.064
इनपुट किंमत	$0.500 / 1M	$0.150 / 1M
आउटपुट किंमत	$3.000 / 1M	$0.600 / 1M
एकूण इनपुट टोकन्स	37,017	41,748
आउटपुट टोकन्स	2,006	3,894
रिझनिंग टोकन्स	214,153	91,773
प्रतिसाद वेळ (सरासरी)	18.64s	11.02s
प्रतिसाद वेळ (कमाल)	117.26s	104.98s
प्रतिसाद वेळ (एकूण)	391.35s	231.37s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#2 Gemini 3 Flash Preview

medium

खर्च: $0.010
वेळ: 17.9s
टोकन्स: 3,236 tok

#110 KAT-Coder-Air V2.5

high

अवैध SVG

खर्च: $0.000
वेळ: 300.0s
टोकन्स: 0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		3.88s	494	330	3,216
KAT-Coder-Air V2.5	6.9	5.8	75.0%	2		2.49s	615	204	1,290

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	8.6	7.6	88.9%	1		84.40s	8,122	462	161,084
KAT-Coder-Air V2.5	4.3	7.3	11.1%	1		39.07s	6,948	1,166	55,883

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		22.42s	12,873	351	10,485
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		30.61s	15,132	422	8,958

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		5.43s	7,548	279	4,893
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.59s	7,776	284	2,140

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		15.27s	633	12	21,684
KAT-Coder-Air V2.5	2.9	7.2	11.1%	1		7.47s	771	914	8,602

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		5.19s	486	72	1,905
KAT-Coder-Air V2.5	5.1	10.0	0.0%	0		7.10s	516	179	539

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		4.04s	615	72	2,709
KAT-Coder-Air V2.5	9.8	10.0	100.0%	0		1.51s	699	90	675

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		4.05s	558	183	4,365
KAT-Coder-Air V2.5	3.5	4.4	33.3%	2		2.47s	696	285	1,576

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		12.60s	5,532	234	1,487
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	330	1,082

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		5.50s	156	11	2,325
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		21.72s	204	20	11,028

झटपट तुलना

तुलना जोडी बदला

Seed-2.0-LitenonevsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsGPT-5.6 Lunalow KAT-Coder-Air V2.5highvsGPT-5.5none Gemini 3 Flash PreviewmediumvsGPT-5.6 Sollow KAT-Coder-Air V2.5highvsQwen3.5-35B-A3Bmedium Gemini 2.5 FlashnonevsKAT-Coder-Air V2.5high Gemma 4 31Bmediumमोफत उपलब्धvsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsGPT-5.6 Solnone Gemini 3.1 Flash LiteminimalvsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsNemotron 3 Supermediumमोफत उपलब्ध Gemini 3.1 Flash LitenonevsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsQwen3.5-Flashnone