Gemini 3.1 Flash Lite (low) vs KAT-Coder-Pro V2.5 (medium)

Gemini 3.1 Flash Lite (low) average score में आगे है: 6.3 vs 6.2. KAT-Coder-Pro V2.5 (medium) की benchmark लागत कम है: $0.478 vs $0.717. Gemini 3.1 Flash Lite (low) तेज है: 19.02s vs 23.94s, pass rates 60.9% vs 62.3%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-01

तुलना किए गए मॉडल

रैंक: #216
कुल आउटपुट टोकन: 425,576
प्रतिक्रिया समय (औसत): 19.02s
कुल लागत: $0.717

रैंक: #226
कुल आउटपुट टोकन: 139,375
प्रतिक्रिया समय (औसत): 23.94s
कुल लागत: $0.478

अनुशंसित मॉडल KAT-Coder-Pro V2.5 (medium)

Its score stays close to the best score here (6.2 vs 6.3), while costing about 1.5x less than Gemini 3.1 Flash Lite (low).

विस्तृत तुलना

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low रिलीज़: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium रिलीज़: 2026-07-14

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low रिलीज़: 2026-05-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium रिलीज़: 2026-07-14
स्कोर	6.3	6.2
रैंक	#216	#226
विश्वसनीयता	10.0	10.0
संगति	9.3	7.2
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	60.9%	62.3%
अस्थिर टेस्ट	2	8
कुल रन	69	69
प्रति परिणाम लागत	5.512	4.342
कुल लागत	$0.717	$0.478
इनपुट कीमत	$0.250 / 1M	$0.740 / 1M
आउटपुट कीमत	$1.500 / 1M	$2.960 / 1M
कुल इनपुट टोकन	312,368	87,916
आउटपुट टोकन	9,429	7,213
रीजनिंग टोकन	416,147	132,162
प्रतिक्रिया समय (औसत)	19.02s	23.94s
प्रतिक्रिया समय (अधिकतम)	318.02s	257.00s
प्रतिक्रिया समय (कुल)	437.38s	550.52s
पैरामीटर	~150B कुल (~10B सक्रिय)	~700B कुल (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#216 Gemini 3.1 Flash Lite

low

लागत: $0.003
समय: 4.0s
टोकन: 1,479 tok

#226 KAT-Coder-Pro V2.5

medium

लागत: $0.009
समय: 25.6s
टोकन: 2,939 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.0	10.0	0.0%	0		79.99s	218,135	1,670	26,015
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	7.3	6.2	75.0%	2		1.84s	500	1,013	1,548
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		1.53s	8,132	471	1,072
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	3.2	9.1	0.0%	0		161.25s	70,202	5,375	381,841
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.44s	7,453	291	697
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	7.7	10.0	66.7%	0		1.44s	648	15	1,220
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		1.37s	492	69	438
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.52s	619	72	760
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.40s	570	210	1,191
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		5.66s	5,457	234	945
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		1.46s	160	9	420
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

त्वरित तुलना

तुलना जोड़ी बदलें