Gemini 3.1 Flash Lite (minimal) vs KAT-Coder-Pro V2.5

KAT-Coder-Pro V2.5 average score में आगे है: 6.1 vs 5.9. Gemini 3.1 Flash Lite (minimal) की benchmark लागत कम है: $0.080 vs $0.487. Gemini 3.1 Flash Lite (minimal) तेज है: 3.95s vs 24.96s, pass rates 49.3% vs 68.1%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-01

तुलना किए गए मॉडल

रैंक: #242
कुल आउटपुट टोकन: 12,875
प्रतिक्रिया समय (औसत): 3.95s
कुल लागत: $0.080

रैंक: #236
कुल आउटपुट टोकन: 139,572
प्रतिक्रिया समय (औसत): 24.96s
कुल लागत: $0.487

अनुशंसित मॉडल Gemini 3.1 Flash Lite (minimal)

Its score stays close to the best score here (5.9 vs 6.1), while costing about 6.2x less than KAT-Coder-Pro V2.5.

विस्तृत तुलना

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal रिलीज़: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none रिलीज़: 2026-07-14

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal रिलीज़: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none रिलीज़: 2026-07-14
स्कोर	5.9	6.1
रैंक	#242	#236
विश्वसनीयता	10.0	10.0
संगति	8.9	7.1
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	49.3%	68.1%
अस्थिर टेस्ट	3	8
कुल रन	69	69
प्रति परिणाम लागत	0.791	4.419
कुल लागत	$0.080	$0.487
इनपुट कीमत	$0.250 / 1M	$0.740 / 1M
आउटपुट कीमत	$1.500 / 1M	$2.960 / 1M
कुल इनपुट टोकन	238,785	98,508
आउटपुट टोकन	12,875	139,572
रीजनिंग टोकन	0	0
प्रतिक्रिया समय (औसत)	3.95s	24.96s
प्रतिक्रिया समय (अधिकतम)	50.03s	335.41s
प्रतिक्रिया समय (कुल)	90.76s	574.12s
पैरामीटर	~150B कुल (~10B सक्रिय)	~700B कुल (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#242 Gemini 3.1 Flash Lite

minimal

लागत: $0.001
समय: 3.7s
टोकन: 635 tok

#236 KAT-Coder-Pro V2.5

none

लागत: $0.010
समय: 29.0s
टोकन: 3,439 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.0	10.0	0.0%	0		50.03s	119,709	1,757	0
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.90s	0	0	0

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	8.3	10.0	75.0%	0		1.10s	500	639	0
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		831ms	8,126	666	0
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		7.75s	94,962	8,988	0
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	77,889	0

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.04s	7,552	279	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		972ms	652	15	0
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		24.90s	780	24,683	0

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		791ms	490	63	0
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		932ms	615	72	0
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	6.0	4.6	66.7%	2		2.15s	564	153	0
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		3.51s	5,457	234	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		724ms	158	9	0
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0

त्वरित तुलना

तुलना जोड़ी बदलें