Gemini 3 Flash Preview (low) vs Mercury 2.5 Preview (medium)

Gemini 3 Flash Preview (low) average score में आगे है: 6.9 vs 6.8. Mercury 2.5 Preview (medium) की benchmark लागत कम है: $0.039 vs $0.254. Mercury 2.5 Preview (medium) तेज है: 6.66s vs 8.51s, pass rates 72.5% vs 66.7%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-07

तुलना किए गए मॉडल

रैंक: #171
कुल आउटपुट टोकन: 42,400
प्रतिक्रिया समय (औसत): 8.51s
कुल लागत: $0.254

रैंक: #182
कुल आउटपुट टोकन: 150,107
प्रतिक्रिया समय (औसत): 6.66s
कुल लागत: $0.039

अनुशंसित मॉडल Mercury 2.5 Preview (medium)

Its score stays close to the best score here (6.8 vs 6.9), while costing about 6.6x less than Gemini 3 Flash Preview (low).

विस्तृत तुलना

मेट्रिक	Gemini 3 Flash Preview Gemini 3 Flash Preview low रिलीज़: 2025-12-17	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02

मेट्रिक	Gemini 3 Flash Preview Gemini 3 Flash Preview low रिलीज़: 2025-12-17	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02
स्कोर	6.9	6.8
रैंक	#171	#182
विश्वसनीयता	10.0	10.0
संगति	9.3	9.6
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	72.5%	66.7%
अस्थिर टेस्ट	2	1
कुल रन	69	69
प्रति परिणाम लागत	1.582	0.244
कुल लागत	$0.254	$0.039
इनपुट कीमत	$0.500 / 1M	$0.040 / 1M
आउटपुट कीमत	$3.000 / 1M	$0.150 / 1M
कैश पढ़ने की कीमत	$0.050 / 1M	लागू नहीं
कैश लिखने की कीमत	$0.084 / 1M	लागू नहीं
कुल इनपुट टोकन	251,677	397,291
आउटपुट टोकन	11,196	6,355
रीजनिंग टोकन	31,204	143,752
प्रतिक्रिया समय (औसत)	8.51s	6.66s
प्रतिक्रिया समय (अधिकतम)	52.64s	74.63s
प्रतिक्रिया समय (कुल)	195.76s	153.29s
पैरामीटर	~500B कुल (~20B सक्रिय)	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#171 Gemini 3 Flash Preview

low

लागत: $0.007
समय: 12.1s
टोकन: 2,289 tok

#182 Mercury 2.5 Preview

medium

लागत: $0.001
समय: 2.7s
टोकन: 2,241 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	5.0	10.0	0.0%	0		52.64s	127,990	1,624	0
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		3.48s	500	281	3,082
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	5.8	7.2	44.4%	1		6.00s	8,122	456	7,421
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	3.0	10.0	0.0%	0		10.20s	99,775	7,822	0
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		9.40s	7,261	279	3,656
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	5.3	7.2	44.4%	1		9.74s	648	12	9,096
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		3.68s	492	120	981
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	9.9	10.0	100.0%	0		7.02s	621	71	2,752
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		5.77s	562	288	3,168
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		4.99s	5,550	234	415
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Gemini 3 Flash Preview	10.0	10.0	100.0%	0		2.75s	156	9	633
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

तुलना जोड़ी बदलें