Mercury 2.5 (high) vs Beam 1.0 501B A23B (medium)

Beam 1.0 501B A23B (medium) average score मध्ये पुढे आहे: 6.6 vs 6.5. Mercury 2.5 (high) चा benchmark खर्च कमी आहे: $0.044 vs $0.499. Beam 1.0 501B A23B (medium) वेगवान आहे: 6.27s vs 7.62s, pass rates 59.4% vs 65.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-17

तुलना केलेली मॉडेल्स

क्रमांक: #225
एकूण आउटपुट टोकन्स: 193,676
प्रतिसाद वेळ (सरासरी): 7.62s
एकूण खर्च: $0.044

क्रमांक: #220
एकूण आउटपुट टोकन्स: 98,521
प्रतिसाद वेळ (सरासरी): 6.27s
एकूण खर्च: $0.499

शिफारस केलेले मॉडेल Mercury 2.5 (high)

Its score stays close to the best score here (6.5 vs 6.6), while costing about 11.5x less than Beam 1.0 501B A23B (medium).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17
स्कोअर	6.5	6.6
क्रमांक	#225	#220
विश्वसनीयता	9.8	10.0
सुसंगतता	8.7	9.3
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	59.4%	65.2%
अस्थिर चाचण्या	4	2
एकूण रन	69	69
प्रति निकाल खर्च	0.362	3.561
एकूण खर्च	$0.044	$0.499
इनपुट किंमत	$0.040 / 1M	$1.000 / 1M
आउटपुट किंमत	$0.150 / 1M	$3.000 / 1M
कॅश वाचण्याची किंमत	$0.004 / 1M	$0.100 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	358,562	202,937
आउटपुट टोकन्स	4,266	4,328
रिझनिंग टोकन्स	189,410	94,193
प्रतिसाद वेळ (सरासरी)	7.62s	6.27s
प्रतिसाद वेळ (कमाल)	80.30s	31.55s
प्रतिसाद वेळ (एकूण)	175.36s	144.28s
पॅरामीटर्स	~100B	501B एकूण (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#225 Mercury 2.5

high

खर्च: $0.001
वेळ: 3.5s
टोकन्स: 2,447 tok

#220 Beam 1.0 501B A23B

medium

खर्च: $0.005
वेळ: 11.8s
टोकन्स: 4,267 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.9	9.6	0.0%	0		80.30s	238,494	864	18,265
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		1.33s	782	218	7,913
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	7.8	44.4%	1		6.58s	7,757	415	44,012
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	5.8	66.7%	1		16.00s	91,255	1,478	62,200
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.08s	8,355	557	9,430
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	2.9	7.2	11.1%	1		4.86s	857	78	22,452
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.0	10.0	0.0%	0		2.69s	528	93	3,609
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.5	10.0	50.0%	0		934ms	401	27	1,770
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	8.7	7.7	88.9%	1		1.39s	771	227	5,812
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.06s	9,130	283	4,484
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		5.48s	232	26	9,463
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

तुलना जोडी बदला

Mercury 2.5highvsBeam 1.0 501B A23Bxhigh KAT-Coder-Pro V2.5lowvsBeam 1.0 501B A23Bmedium Beam 1.0 501B A23BmediumvsStep 3.7 Flashhigh Mercury 2.5highvsGLM 5.3low Mercury 2.5highvsQwen3.6 35B A3Bmedium Mercury 2.5highvsGLM 5.1none Claude Sonnet 5.5mediumvsMercury 2.5high Mercury 2.5highvsGrok 4.3medium Mercury 2.5highvsLaguna XS 2.1mediumमोफत उपलब्ध LongCat 2.0lowvsBeam 1.0 501B A23Bmedium Mercury 2.5highvsQwen3.5-122B-A10Bnone Gemini 3 Flash PreviewnonevsMercury 2.5high