Mercury 2.5 Preview (medium) vs Beam 1.0 501B A23B (medium)

Mercury 2.5 Preview (medium) average score मध्ये पुढे आहे: 6.8 vs 6.6. Mercury 2.5 Preview (medium) चा benchmark खर्च कमी आहे: $0.039 vs $0.499. Beam 1.0 501B A23B (medium) वेगवान आहे: 6.27s vs 6.66s, pass rates 66.7% vs 65.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-17

तुलना केलेली मॉडेल्स

क्रमांक: #199
एकूण आउटपुट टोकन्स: 150,107
प्रतिसाद वेळ (सरासरी): 6.66s
एकूण खर्च: $0.039

क्रमांक: #220
एकूण आउटपुट टोकन्स: 98,521
प्रतिसाद वेळ (सरासरी): 6.27s
एकूण खर्च: $0.499

शिफारस केलेले मॉडेल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 13.0x less than Beam 1.0 501B A23B (medium).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17
स्कोअर	6.8	6.6
क्रमांक	#199	#220
विश्वसनीयता	10.0	10.0
सुसंगतता	9.6	9.3
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	66.7%	65.2%
अस्थिर चाचण्या	1	2
एकूण रन	69	69
प्रति निकाल खर्च	0.244	3.561
एकूण खर्च	$0.039	$0.499
इनपुट किंमत	$0.040 / 1M	$1.000 / 1M
आउटपुट किंमत	$0.150 / 1M	$3.000 / 1M
कॅश वाचण्याची किंमत	लागू नाही	$0.100 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	397,291	202,937
आउटपुट टोकन्स	6,355	4,328
रिझनिंग टोकन्स	143,752	94,193
प्रतिसाद वेळ (सरासरी)	6.66s	6.27s
प्रतिसाद वेळ (कमाल)	74.63s	31.55s
प्रतिसाद वेळ (एकूण)	153.29s	144.28s
पॅरामीटर्स	~100B	501B एकूण (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#199 Mercury 2.5 Preview

medium

खर्च: $0.001
वेळ: 2.7s
टोकन्स: 2,241 tok

#220 Beam 1.0 501B A23B

medium

खर्च: $0.005
वेळ: 11.8s
टोकन्स: 4,267 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

तुलना जोडी बदला

Mercury 2.5 PreviewmediumvsInklinglowमोफत उपलब्ध KAT-Coder-Pro V2.5lowvsBeam 1.0 501B A23Bmedium Beam 1.0 501B A23BmediumvsStep 3.7 Flashhigh Mercury 2.5 PreviewmediumvsGPT-6 Solnone LongCat 2.0lowvsBeam 1.0 501B A23Bmedium Claude Opus 4.8nonevsMercury 2.5 Previewmedium Claude Sonnet 5.5lowvsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsGPT-5.6 Lunalow Mercury 2.5 PreviewhighvsBeam 1.0 501B A23Bmedium Ember-1highvsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsSpace Bunny Alphamax Beam 1.0 501B A23BmediumvsGLM 5.2none