Gemini 3.1 Flash Lite (low) vs KAT-Coder-Pro V2.5 (medium)

Gemini 3.1 Flash Lite (low) average score मध्ये पुढे आहे: 6.3 vs 6.2. KAT-Coder-Pro V2.5 (medium) चा benchmark खर्च कमी आहे: $0.478 vs $0.717. Gemini 3.1 Flash Lite (low) वेगवान आहे: 19.02s vs 23.94s, pass rates 60.9% vs 62.3%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #216
एकूण आउटपुट टोकन्स: 425,576
प्रतिसाद वेळ (सरासरी): 19.02s
एकूण खर्च: $0.717

क्रमांक: #226
एकूण आउटपुट टोकन्स: 139,375
प्रतिसाद वेळ (सरासरी): 23.94s
एकूण खर्च: $0.478

शिफारस केलेले मॉडेल KAT-Coder-Pro V2.5 (medium)

Its score stays close to the best score here (6.2 vs 6.3), while costing about 1.5x less than Gemini 3.1 Flash Lite (low).

तपशीलवार तुलना

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low प्रकाशन: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low प्रकाशन: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर	6.3	6.2
क्रमांक	#216	#226
विश्वसनीयता	10.0	10.0
सुसंगतता	9.3	7.2
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	60.9%	62.3%
अस्थिर चाचण्या	2	8
एकूण रन	69	69
प्रति निकाल खर्च	5.512	4.342
एकूण खर्च	$0.717	$0.478
इनपुट किंमत	$0.250 / 1M	$0.740 / 1M
आउटपुट किंमत	$1.500 / 1M	$2.960 / 1M
एकूण इनपुट टोकन्स	312,368	87,916
आउटपुट टोकन्स	9,429	7,213
रिझनिंग टोकन्स	416,147	132,162
प्रतिसाद वेळ (सरासरी)	19.02s	23.94s
प्रतिसाद वेळ (कमाल)	318.02s	257.00s
प्रतिसाद वेळ (एकूण)	437.38s	550.52s
पॅरामीटर्स	~150B एकूण (~10B सक्रिय)	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#216 Gemini 3.1 Flash Lite

low

खर्च: $0.003
वेळ: 4.0s
टोकन्स: 1,479 tok

#226 KAT-Coder-Pro V2.5

medium

खर्च: $0.009
वेळ: 25.6s
टोकन्स: 2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	5.0	10.0	0.0%	0		79.99s	218,135	1,670	26,015
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	7.3	6.2	75.0%	2		1.84s	500	1,013	1,548
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		1.53s	8,132	471	1,072
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	3.2	9.1	0.0%	0		161.25s	70,202	5,375	381,841
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.44s	7,453	291	697
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	7.7	10.0	66.7%	0		1.44s	648	15	1,220
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		1.37s	492	69	438
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.52s	619	72	760
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.40s	570	210	1,191
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		5.66s	5,457	234	945
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		1.46s	160	9	420
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

झटपट तुलना

तुलना जोडी बदला