Mercury 2.5 Preview (medium) vs Qwen3.8 2.4T A95B (high)

Mercury 2.5 Preview (medium) average score मध्ये पुढे आहे: 7.5 vs 7.4. Mercury 2.5 Preview (medium) चा benchmark खर्च कमी आहे: $0.024 vs $2.357. Mercury 2.5 Preview (medium) वेगवान आहे: 3.58s vs 120.59s, pass rates 69.7% vs 74.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-02

क्रमांक: #91
एकूण आउटपुट टोकन्स: 127,034
प्रतिसाद वेळ (सरासरी): 3.58s
एकूण खर्च: $0.024

क्रमांक: #99
एकूण आउटपुट टोकन्स: 456,028
प्रतिसाद वेळ (सरासरी): 120.59s
एकूण खर्च: $2.357

शिफारस केलेले मॉडेल Mercury 2.5 Preview (medium)

It has the best score here (7.5), while costing about 100.0x less than Qwen3.8 2.4T A95B (high).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02	Qwen3.8 2.4T A95B Qwen3.8 2.4T A95B high प्रकाशन: 2026-08-12

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02	Qwen3.8 2.4T A95B Qwen3.8 2.4T A95B high प्रकाशन: 2026-08-12
स्कोअर	7.5	7.4
क्रमांक	#91	#99
विश्वसनीयता	10.0	9.4
सुसंगतता	9.6	8.3
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	69.7%	74.2%
अस्थिर चाचण्या	1	4
एकूण रन	66	66
प्रति निकाल खर्च	0.158	16.832
एकूण खर्च	$0.024	$2.357
इनपुट किंमत	$0.040 / 1M	$2.000 / 1M
आउटपुट किंमत	$0.150 / 1M	$6.000 / 1M
एकूण इनपुट टोकन्स	112,713	108,931
आउटपुट टोकन्स	5,436	112,801
रिझनिंग टोकन्स	121,598	343,227
प्रतिसाद वेळ (सरासरी)	3.58s	120.59s
प्रतिसाद वेळ (कमाल)	17.84s	532.28s
प्रतिसाद वेळ (एकूण)	78.66s	2653.05s
पॅरामीटर्स	~100B	2.4T एकूण (95B सक्रिय)
उपलब्धता	बंद स्रोत	वेट्स उपलब्ध

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#91 Mercury 2.5 Preview

medium

खर्च: $0.001
वेळ: 2.7s
टोकन्स: 2,241 tok

#99 Qwen3.8 2.4T A95B

high

अवैध SVG

खर्च: $0.000
वेळ: 600.0s
टोकन्स: 0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921
Qwen3.8 2.4T A95B	10.0	10.0	100.0%	0		24.22s	1,128	305	4,864

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126
Qwen3.8 2.4T A95B	5.9	6.3	55.6%	1		160.52s	6,399	3,310	48,078

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588
Qwen3.8 2.4T A95B	6.9	5.9	66.7%	1		266.12s	81,205	7,791	41,921

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354
Qwen3.8 2.4T A95B	10.0	10.0	100.0%	0		13.67s	7,928	550	2,307

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120
Qwen3.8 2.4T A95B	4.1	6.5	22.2%	1		301.08s	964	11,279	139,028

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375
Qwen3.8 2.4T A95B	6.1	3.1	66.7%	1		11.38s	630	2,020	2,165

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987
Qwen3.8 2.4T A95B	9.8	10.0	100.0%	0		11.45s	927	245	1,727

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323
Qwen3.8 2.4T A95B	10.0	10.0	100.0%	0		65.54s	989	698	15,073

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0
Qwen3.8 2.4T A95B	10.0	10.0	100.0%	0		32.93s	8,481	302	656

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804
Qwen3.8 2.4T A95B	3.0	10.0	0.0%	0		347.95s	280	86,301	87,408

झटपट तुलना

तुलना जोडी बदला

Mercury 2.5 PreviewmediumvsGPT 5.3 Chatnone Qwen3.8 2.4T A95BhighvsGrok 4.6low Gemini 3 Flash PreviewlowvsQwen3.8 2.4T A95Bhigh Mercury 2.5 PreviewmediumvsGPT-5.6 Terralow LongCat 2.0mediumvsQwen3.8 2.4T A95Bhigh Mercury 2.5 PreviewmediumvsQwen3.7 Maxnone GPT-5.6 LunamediumvsQwen3.8 2.4T A95Bhigh Kimi K2.7 CodemediumvsQwen3.8 2.4T A95Bhigh Claude Sonnet 4.6nonevsQwen3.8 2.4T A95Bhigh Gemini 3.1 Flash Lite PreviewmediumvsQwen3.8 2.4T A95Bhigh KAT-Coder-Pro V2.5lowvsQwen3.8 2.4T A95Bhigh Qwen3.8 2.4T A95BhighvsGrok Build 0.1medium