Mercury 2.5 Preview (high) vs Beam 1.0 501B A23B (medium)

Beam 1.0 501B A23B (medium) average score में आगे है: 6.6 vs 6.5. Mercury 2.5 Preview (high) की benchmark लागत कम है: $0.040 vs $0.499. Beam 1.0 501B A23B (medium) तेज है: 6.27s vs 7.61s, pass rates 65.2% vs 65.2%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-17

तुलना किए गए मॉडल

रैंक: #224
कुल आउटपुट टोकन: 180,597
प्रतिक्रिया समय (औसत): 7.61s
कुल लागत: $0.040

रैंक: #220
कुल आउटपुट टोकन: 98,521
प्रतिक्रिया समय (औसत): 6.27s
कुल लागत: $0.499

अनुशंसित मॉडल Mercury 2.5 Preview (high)

Its score stays close to the best score here (6.5 vs 6.6), while costing about 12.8x less than Beam 1.0 501B A23B (medium).

विस्तृत तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview high रिलीज़: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium रिलीज़: 2026-10-17

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview high रिलीज़: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium रिलीज़: 2026-10-17
स्कोर	6.5	6.6
रैंक	#224	#220
विश्वसनीयता	9.9	10.0
संगति	8.0	9.3
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	65.2%	65.2%
अस्थिर टेस्ट	6	2
कुल रन	69	69
प्रति परिणाम लागत	0.319	3.561
कुल लागत	$0.040	$0.499
इनपुट कीमत	$0.040 / 1M	$1.000 / 1M
आउटपुट कीमत	$0.150 / 1M	$3.000 / 1M
कैश पढ़ने की कीमत	लागू नहीं	$0.100 / 1M
कैश लिखने की कीमत	लागू नहीं	लागू नहीं
कुल इनपुट टोकन	298,512	202,937
आउटपुट टोकन	3,178	4,328
रीजनिंग टोकन	177,419	94,193
प्रतिक्रिया समय (औसत)	7.61s	6.27s
प्रतिक्रिया समय (अधिकतम)	86.84s	31.55s
प्रतिक्रिया समय (कुल)	175.08s	144.28s
पैरामीटर	~100B	501B कुल (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#224 Mercury 2.5 Preview

high

लागत: $0.001
समय: 4.5s
टोकन: 3,851 tok

#220 Beam 1.0 501B A23B

medium

लागत: $0.005
समय: 11.8s
टोकन: 4,267 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	6.1	3.1	66.7%	1		86.84s	182,753	616	16,476
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.09s	785	181	7,008
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	6.7	7.8	55.6%	1		6.13s	7,751	485	42,569
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.8	1.6	50.0%	2		14.36s	95,789	765	54,789
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.24s	8,292	560	8,522
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	2.9	4.4	22.2%	2		5.68s	857	67	25,958
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.1	10.0	0.0%	0		1.88s	542	94	3,300
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.05s	741	94	3,777
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.21s	774	292	6,066
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.25s	0	0	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		5.41s	228	24	8,954
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

तुलना जोड़ी बदलें