Gemini 3.1 Flash Lite (minimal) vs KAT-Coder-Pro V2.5

KAT-Coder-Pro V2.5 average score मध्ये पुढे आहे: 6.1 vs 5.9. Gemini 3.1 Flash Lite (minimal) चा benchmark खर्च कमी आहे: $0.080 vs $0.487. Gemini 3.1 Flash Lite (minimal) वेगवान आहे: 3.95s vs 24.96s, pass rates 49.3% vs 68.1%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #242
एकूण आउटपुट टोकन्स: 12,875
प्रतिसाद वेळ (सरासरी): 3.95s
एकूण खर्च: $0.080

क्रमांक: #236
एकूण आउटपुट टोकन्स: 139,572
प्रतिसाद वेळ (सरासरी): 24.96s
एकूण खर्च: $0.487

शिफारस केलेले मॉडेल Gemini 3.1 Flash Lite (minimal)

Its score stays close to the best score here (5.9 vs 6.1), while costing about 6.2x less than KAT-Coder-Pro V2.5.

तपशीलवार तुलना

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal प्रकाशन: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none प्रकाशन: 2026-07-14

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal प्रकाशन: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none प्रकाशन: 2026-07-14
स्कोअर	5.9	6.1
क्रमांक	#242	#236
विश्वसनीयता	10.0	10.0
सुसंगतता	8.9	7.1
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	49.3%	68.1%
अस्थिर चाचण्या	3	8
एकूण रन	69	69
प्रति निकाल खर्च	0.791	4.419
एकूण खर्च	$0.080	$0.487
इनपुट किंमत	$0.250 / 1M	$0.740 / 1M
आउटपुट किंमत	$1.500 / 1M	$2.960 / 1M
एकूण इनपुट टोकन्स	238,785	98,508
आउटपुट टोकन्स	12,875	139,572
रिझनिंग टोकन्स	0	0
प्रतिसाद वेळ (सरासरी)	3.95s	24.96s
प्रतिसाद वेळ (कमाल)	50.03s	335.41s
प्रतिसाद वेळ (एकूण)	90.76s	574.12s
पॅरामीटर्स	~150B एकूण (~10B सक्रिय)	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#242 Gemini 3.1 Flash Lite

minimal

खर्च: $0.001
वेळ: 3.7s
टोकन्स: 635 tok

#236 KAT-Coder-Pro V2.5

none

खर्च: $0.010
वेळ: 29.0s
टोकन्स: 3,439 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	5.0	10.0	0.0%	0		50.03s	119,709	1,757	0
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.90s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	8.3	10.0	75.0%	0		1.10s	500	639	0
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		831ms	8,126	666	0
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		7.75s	94,962	8,988	0
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	77,889	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.04s	7,552	279	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		972ms	652	15	0
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		24.90s	780	24,683	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		791ms	490	63	0
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		932ms	615	72	0
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	6.0	4.6	66.7%	2		2.15s	564	153	0
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		3.51s	5,457	234	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		724ms	158	9	0
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0

झटपट तुलना

तुलना जोडी बदला