Gemini 3.5 Flash vs KAT-Coder-Pro V2.5 (medium)

KAT-Coder-Pro V2.5 (medium) average score मध्ये पुढे आहे: 6.2 vs 6.1. KAT-Coder-Pro V2.5 (medium) चा benchmark खर्च कमी आहे: $0.669 vs $1.752. Gemini 3.5 Flash वेगवान आहे: 14.13s vs 23.94s, pass rates 68.1% vs 62.3%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-19

तुलना केलेली मॉडेल्स

क्रमांक: #273
एकूण आउटपुट टोकन्स: 153,595
प्रतिसाद वेळ (सरासरी): 14.13s
एकूण खर्च: $1.752

क्रमांक: #268
एकूण आउटपुट टोकन्स: 139,375
प्रतिसाद वेळ (सरासरी): 23.94s
एकूण खर्च: $0.669

शिफारस केलेले मॉडेल KAT-Coder-Pro V2.5 (medium)

It has the best score here (6.2), while costing about 2.6x less than Gemini 3.5 Flash.

तपशीलवार तुलना

मेट्रिक	Gemini 3.5 Flash Gemini 3.5 Flash none प्रकाशन: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14

मेट्रिक	Gemini 3.5 Flash Gemini 3.5 Flash none प्रकाशन: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर	6.1	6.2
क्रमांक	#273	#268
विश्वसनीयता	10.0	10.0
सुसंगतता	8.6	7.2
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	68.1%	62.3%
अस्थिर चाचण्या	4	8
एकूण रन	69	69
प्रति निकाल खर्च	12.511	4.342
एकूण खर्च	$1.752	$0.669
इनपुट किंमत	$1.500 / 1M	$0.740 / 1M
आउटपुट किंमत	$9.000 / 1M	$2.960 / 1M
कॅश वाचण्याची किंमत	$0.150 / 1M	$0.150 / 1M
कॅश लिहिण्याची किंमत	$0.084 / 1M	लागू नाही
एकूण इनपुट टोकन्स	246,061	87,916
आउटपुट टोकन्स	3,828	7,213
रिझनिंग टोकन्स	149,767	132,162
प्रतिसाद वेळ (सरासरी)	14.13s	23.94s
प्रतिसाद वेळ (कमाल)	85.26s	257.00s
प्रतिसाद वेळ (एकूण)	268.55s	550.52s
पॅरामीटर्स	~500B एकूण (~20B सक्रिय)	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#273 Gemini 3.5 Flash

none

खर्च: $0.225
वेळ: 125.5s
टोकन्स: 25,004 tok

#268 KAT-Coder-Pro V2.5

medium

खर्च: $0.009
वेळ: 25.6s
टोकन्स: 2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	2.8	1.6	33.3%	1		85.26s	232,209	2,528	31,967
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.53s	492	174	4,927
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	8.8	7.8	88.9%	1		34.69s	8,122	456	75,471
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0	0
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	6.5	10.0	50.0%	0		8.10s	2,781	177	5,718
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	5.3	7.2	44.4%	1		12.18s	642	12	19,480
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.46s	486	120	1,500
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	9.8	10.0	100.0%	0		3.38s	615	70	3,858
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.13s	558	279	4,361
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.5 Flash	2.8	1.6	33.3%	1		4.87s	156	12	2,485
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

तुलना जोडी बदला

KAT-Coder-Pro V2.5mediumvsSpace Bunny Alphaxhigh DeepSeek V4 Flash 0731nonevsKAT-Coder-Pro V2.5medium Gemini 3.5 FlashnonevsBeam 1.0 501B A23Bhigh Trinity Large ThinkingmediumvsGemini 3.5 Flashnone Gemini 3.1 Flash Lite PreviewnonevsKAT-Coder-Pro V2.5medium Apodex 1.1 Minilowमोफत उपलब्धvsGemini 3.5 Flashnone Gemini 3.5 FlashnonevsStep 5 Previewmedium DeepSeek V4 Flash 0423nonevsKAT-Coder-Pro V2.5medium Claude Fable 5.1lowvsKAT-Coder-Pro V2.5medium Gemini 3.5 FlashnonevsGranite 4.2 8Bmedium Claude Fable 5.1lowvsGemini 3.5 Flashnone Trinity Large ThinkinglowvsKAT-Coder-Pro V2.5medium