Mercury 2.5 Preview (medium) vs Beam 1.0 501B A23B (max)

Mercury 2.5 Preview (medium) average score में आगे है: 6.8 vs 6.4. Mercury 2.5 Preview (medium) की benchmark लागत कम है: $0.039 vs $0.799. Mercury 2.5 Preview (medium) तेज है: 6.66s vs 11.10s, pass rates 66.7% vs 56.5%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-17

तुलना किए गए मॉडल

रैंक: #199
कुल आउटपुट टोकन: 150,107
प्रतिक्रिया समय (औसत): 6.66s
कुल लागत: $0.039

रैंक: #234
कुल आउटपुट टोकन: 199,769
प्रतिक्रिया समय (औसत): 11.10s
कुल लागत: $0.799

अनुशंसित मॉडल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 20.8x less than Beam 1.0 501B A23B (max).

विस्तृत तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B max रिलीज़: 2026-10-17

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B max रिलीज़: 2026-10-17
स्कोर	6.8	6.4
रैंक	#199	#234
विश्वसनीयता	10.0	10.0
संगति	9.6	9.4
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	66.7%	56.5%
अस्थिर टेस्ट	1	2
कुल रन	69	69
प्रति परिणाम लागत	0.244	6.654
कुल लागत	$0.039	$0.799
इनपुट कीमत	$0.040 / 1M	$1.000 / 1M
आउटपुट कीमत	$0.150 / 1M	$3.000 / 1M
कैश पढ़ने की कीमत	लागू नहीं	$0.100 / 1M
कैश लिखने की कीमत	लागू नहीं	लागू नहीं
कुल इनपुट टोकन	397,291	199,105
आउटपुट टोकन	6,355	4,274
रीजनिंग टोकन	143,752	195,495
प्रतिक्रिया समय (औसत)	6.66s	11.10s
प्रतिक्रिया समय (अधिकतम)	74.63s	54.48s
प्रतिक्रिया समय (कुल)	153.29s	255.26s
पैरामीटर	~100B	501B कुल (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#199 Mercury 2.5 Preview

medium

लागत: $0.001
समय: 2.7s
टोकन: 2,241 tok

#234 Beam 1.0 501B A23B

max

लागत: $0.010
समय: 21.4s
टोकन: 7,699 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		50.05s	168,940	2,299	23,650

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.42s	1,125	337	3,507

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		17.15s	7,800	467	39,895

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		3.04s	7,671	132	3,688

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.23s	7,998	278	1,629

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.89s	1,122	91	87,933

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375
Beam 1.0 501B A23B	5.5	10.0	0.0%	0		3.63s	618	113	3,509

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987
Beam 1.0 501B A23B	8.4	6.9	83.3%	1		866ms	924	109	1,726

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323
Beam 1.0 501B A23B	7.8	7.4	77.8%	1		3.94s	1,038	325	10,811

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.15s	1,533	72	465

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		24.53s	336	51	18,682

तुलना जोड़ी बदलें