Gemini 3.1 Flash Lite (medium) vs Mercury 2.5 Preview (medium)

Gemini 3.1 Flash Lite (medium) average score में आगे है: 6.9 vs 6.8. Mercury 2.5 Preview (medium) की benchmark लागत कम है: $0.039 vs $0.153. Gemini 3.1 Flash Lite (medium) तेज है: 6.27s vs 6.66s, pass rates 59.4% vs 66.7%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-26

तुलना किए गए मॉडल

रैंक: #204
कुल आउटपुट टोकन: 63,967
प्रतिक्रिया समय (औसत): 6.27s
कुल लागत: $0.153

रैंक: #213
कुल आउटपुट टोकन: 150,107
प्रतिक्रिया समय (औसत): 6.66s
कुल लागत: $0.039

अनुशंसित मॉडल Mercury 2.5 Preview (medium)

Its score stays close to the best score here (6.8 vs 6.9), while costing about 4.0x less than Gemini 3.1 Flash Lite (medium).

विस्तृत तुलना

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium रिलीज़: 2026-05-08	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02

मेट्रिक	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium रिलीज़: 2026-05-08	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02
स्कोर	6.9	6.8
रैंक	#204	#213
विश्वसनीयता	10.0	10.0
संगति	9.2	9.6
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	59.4%	66.7%
अस्थिर टेस्ट	2	1
कुल रन	69	69
प्रति परिणाम लागत	1.177	0.244
कुल लागत	$0.153	$0.039
इनपुट कीमत	$0.250 / 1M	$0.040 / 1M
आउटपुट कीमत	$1.500 / 1M	$0.150 / 1M
कैश पढ़ने की कीमत	$0.025 / 1M	लागू नहीं
कैश लिखने की कीमत	$0.084 / 1M	लागू नहीं
कुल इनपुट टोकन	228,023	397,291
आउटपुट टोकन	10,779	6,355
रीजनिंग टोकन	53,188	143,752
प्रतिक्रिया समय (औसत)	6.27s	6.66s
प्रतिक्रिया समय (अधिकतम)	47.78s	74.63s
प्रतिक्रिया समय (कुल)	144.10s	153.29s
पैरामीटर	~150B कुल (~10B सक्रिय)	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#204 Gemini 3.1 Flash Lite

medium

लागत: $0.003
समय: 5.3s
टोकन: 1,754 tok

#213 Mercury 2.5 Preview

medium

लागत: $0.001
समय: 2.7s
टोकन: 2,241 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.0	10.0	0.0%	0		47.78s	123,098	1,611	0
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	9.1	10.0	75.0%	0		2.39s	502	604	4,201
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		3.81s	8,134	459	8,978
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	7.2	9.1	50.0%	0		18.55s	80,983	7,241	20,231
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	7,362	279	2,845
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		3.93s	650	15	7,223
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	488	84	1,142
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	9.9	10.0	100.0%	0		2.59s	623	75	3,320
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	7.6	7.2	77.8%	1		1.95s	568	165	2,450
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		4.55s	5,457	234	921
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		3.08s	158	12	1,877
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

तुलना जोड़ी बदलें

Mercury 2.5 PreviewmediumvsInklinglowनिःशुल्क उपलब्ध Ember-1highvsGemini 3.1 Flash Litemedium Mercury 2.5 PreviewmediumvsGPT-6 Solnone Gemini 3.1 Flash LitemediumvsGPT-5.6 Lunalow Claude Sonnet 5.5lowvsGemini 3.1 Flash Litemedium Claude Opus 4.8nonevsGemini 3.1 Flash Litemedium Claude Opus 4.8nonevsMercury 2.5 Previewmedium Claude Sonnet 5.5lowvsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsGPT-5.6 Lunalow Gemini 3.1 Flash LitemediumvsMinimax M3.1 Flashmaxनिःशुल्क उपलब्ध Gemini 3.1 Flash LitemediumvsMuse Glimmer 30Blow Gemini 3.1 Flash LitemediumvsGrok 4.6low