Gemini 3.1 Flash Lite Preview (low) vs Mercury 2.5 (medium)

Mercury 2.5 (medium) average score मध्ये पुढे आहे: 6.4 vs 6.3. Mercury 2.5 (medium) चा benchmark खर्च कमी आहे: $0.034 vs $0.736. Mercury 2.5 (medium) वेगवान आहे: 7.74s vs 19.04s, pass rates 60.9% vs 63.8%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #215
एकूण आउटपुट टोकन्स: 438,891
प्रतिसाद वेळ (सरासरी): 19.04s
एकूण खर्च: $0.736

क्रमांक: #206
एकूण आउटपुट टोकन्स: 138,946
प्रतिसाद वेळ (सरासरी): 7.74s
एकूण खर्च: $0.034

शिफारस केलेले मॉडेल Mercury 2.5 (medium)

It has the best score here (6.4), while costing about 21.9x less than Gemini 3.1 Flash Lite Preview (low).

तपशीलवार तुलना

मेट्रिक	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview low प्रकाशन: 2026-03-03	Mercury 2.5 Mercury 2.5 medium प्रकाशन: 2026-09-08

मेट्रिक	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview low प्रकाशन: 2026-03-03	Mercury 2.5 Mercury 2.5 medium प्रकाशन: 2026-09-08
स्कोअर	6.3	6.4
क्रमांक	#215	#206
विश्वसनीयता	10.0	9.7
सुसंगतता	10.0	8.3
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	60.9%	63.8%
अस्थिर चाचण्या	0	5
एकूण रन	69	69
प्रति निकाल खर्च	5.256	0.280
एकूण खर्च	$0.736	$0.034
इनपुट किंमत	$0.250 / 1M	$0.040 / 1M
आउटपुट किंमत	$1.500 / 1M	$0.150 / 1M
एकूण इनपुट टोकन्स	309,715	317,982
आउटपुट टोकन्स	16,170	3,918
रिझनिंग टोकन्स	422,721	135,028
प्रतिसाद वेळ (सरासरी)	19.04s	7.74s
प्रतिसाद वेळ (कमाल)	309.35s	107.89s
प्रतिसाद वेळ (एकूण)	437.98s	178.07s
पॅरामीटर्स	~150B एकूण (~10B सक्रिय)	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#215 Gemini 3.1 Flash Lite Preview

low

खर्च: $0.002
वेळ: 3.7s
टोकन्स: 1,203 tok

#206 Mercury 2.5

medium

खर्च: $0.001
वेळ: 3.8s
टोकन्स: 3,386 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	5.0	10.0	0.0%	0		71.29s	199,519	1,453	25,259
Mercury 2.5	4.7	3.1	33.3%	1		107.89s	226,580	780	18,037

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	8.3	10.0	75.0%	0		2.12s	506	462	1,638
Mercury 2.5	10.0	10.0	100.0%	0		1.28s	773	192	7,122

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	5.5	10.0	33.3%	0		1.39s	8,138	660	1,060
Mercury 2.5	5.0	5.1	44.5%	2		3.70s	7,807	488	21,857

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	0		160.63s	85,851	12,656	389,079
Mercury 2.5	6.5	10.0	50.0%	0		9.23s	62,336	1,073	34,370

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		3.00s	7,455	291	696
Mercury 2.5	10.0	10.0	100.0%	0		2.57s	8,385	582	9,343

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	7.7	10.0	66.7%	0		2.10s	652	18	1,191
Mercury 2.5	3.6	7.2	22.2%	1		4.39s	852	59	19,837

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	4.0	10.0	0.0%	0		1.54s	490	69	384
Mercury 2.5	4.4	9.9	0.0%	0		1.60s	528	98	2,364

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		1.49s	621	72	753
Mercury 2.5	6.4	6.0	66.7%	1		1.07s	520	55	2,344

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		1.69s	566	243	1,248
Mercury 2.5	10.0	10.0	100.0%	0		1.93s	766	290	7,721

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		9.54s	5,757	237	993
Mercury 2.5	10.0	10.0	100.0%	0		3.35s	9,203	269	4,641

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	0		1.35s	160	9	420
Mercury 2.5	3.0	10.0	0.0%	0		4.30s	232	32	7,392

झटपट तुलना

तुलना जोडी बदला

Gemini 3.5 FlashminimalvsMercury 2.5medium Dots 3 Note Previewhighमोफत उपलब्धvsMercury 2.5medium Dots 3 Note Previewlowमोफत उपलब्धvsMercury 2.5medium Gemini 3.1 Flash Lite PreviewlowvsQwen3.6 27Bnone Gemini 3.1 Flash Lite PreviewlowvsSolar Pro 4high Gemini 3.1 Flash Lite PreviewlowvsQwen3.5 Plus 2026-02-15none Gemini 3.1 Flash Lite PreviewlowvsQwen3.5-35B-A3Bmedium Gemini 3.1 Flash Lite PreviewlowvsLongCat 2.0none Mercury 2.5mediumvsLongCat 2.0none Gemini 3.1 Flash Lite PreviewlowvsSpace Bunny Alphamedium Mercury 2.5mediumvsQwen3.6 27Bnone Dots 3 Note Previewhighमोफत उपलब्धvsGemini 3.1 Flash Lite Previewlow