Gemini 3.7 Flash (low) vs KAT-Coder-Pro V2.5 (default)

Gemini 3.7 Flash (low) average score मध्ये पुढे आहे: 9.4 vs 6.1. Gemini 3.7 Flash (low) चा benchmark खर्च कमी आहे: $0.183 vs $0.742. Gemini 3.7 Flash (low) वेगवान आहे: 6.24s vs 24.96s, pass rates 95.7% vs 68.1%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-12

तुलना केलेली मॉडेल्स

क्रमांक: #25
एकूण आउटपुट टोकन्स: 38,453
प्रतिसाद वेळ (सरासरी): 6.24s
एकूण खर्च: $0.183

क्रमांक: #252
एकूण आउटपुट टोकन्स: 139,572
प्रतिसाद वेळ (सरासरी): 24.96s
एकूण खर्च: $0.742

शिफारस केलेले मॉडेल Gemini 3.7 Flash (low)

It has the best score here (9.4), while costing about 4.1x less than KAT-Coder-Pro V2.5 (default).

तपशीलवार तुलना

मेट्रिक	Gemini 3.7 Flash Gemini 3.7 Flash low प्रकाशन: 2026-08-14	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 default प्रकाशन: 2026-07-14

मेट्रिक	Gemini 3.7 Flash Gemini 3.7 Flash low प्रकाशन: 2026-08-14	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 default प्रकाशन: 2026-07-14
स्कोअर	9.4	6.1
क्रमांक	#25	#252
विश्वसनीयता	10.0	10.0
सुसंगतता	9.3	7.1
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	95.7%	68.1%
अस्थिर चाचण्या	2	8
एकूण रन	69	69
प्रति निकाल खर्च	0.868	4.419
एकूण खर्च	$0.183	$0.742
इनपुट किंमत	$0.750 / 1M	$0.740 / 1M
आउटपुट किंमत	$3.750 / 1M	$2.960 / 1M
कॅश वाचण्याची किंमत	$0.075 / 1M	$0.150 / 1M
कॅश लिहिण्याची किंमत	$0.042 / 1M	लागू नाही
एकूण इनपुट टोकन्स	188,519	98,508
आउटपुट टोकन्स	7,694	8,088
रिझनिंग टोकन्स	30,759	131,484
प्रतिसाद वेळ (सरासरी)	6.24s	24.96s
प्रतिसाद वेळ (कमाल)	58.75s	335.41s
प्रतिसाद वेळ (एकूण)	143.56s	574.12s
पॅरामीटर्स	~500B एकूण (~20B सक्रिय)	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#25 Gemini 3.7 Flash

low

खर्च: $0.010
वेळ: 23.5s
टोकन्स: 5,210 tok

#252 KAT-Coder-Pro V2.5

default

खर्च: $0.010
वेळ: 29.0s
टोकन्स: 3,439 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		58.75s	98,197	1,400	0
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.90s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		1.54s	492	99	1,398
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	222	3,776

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	7.6	7.2	77.8%	1		6.20s	8,118	461	11,508
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	451	21,989

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		13.00s	66,250	4,873	8,108
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	6,356	71,533

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		2.15s	7,548	278	1,093
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	288	2,073

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	8.2	7.2	88.9%	1		3.09s	642	12	3,029
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		24.90s	780	34	24,649

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		2.76s	486	81	1,043
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	111	956

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		2.47s	615	72	1,778
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	84	1,000

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		1.92s	558	166	1,580
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	256	1,673

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		4.10s	5,457	241	160
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	268	835

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.7 Flash	10.0	10.0	100.0%	0		2.92s	156	11	1,062
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	18	3,000

तुलना जोडी बदला