Mercury 2.5 Preview (medium) vs Solar Pro 4 (medium)

Mercury 2.5 Preview (medium) average score में आगे है: 6.8 vs 6.4. Mercury 2.5 Preview (medium) की benchmark लागत कम है: $0.039 vs $0.098. Mercury 2.5 Preview (medium) तेज है: 6.66s vs 133.93s, pass rates 66.7% vs 60.9%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-11-10

तुलना किए गए मॉडल

रैंक: #231
कुल आउटपुट टोकन: 150,107
प्रतिक्रिया समय (औसत): 6.66s
कुल लागत: $0.039

रैंक: #269
कुल आउटपुट टोकन: 408,067
प्रतिक्रिया समय (औसत): 133.93s
कुल लागत: $0.098

अनुशंसित मॉडल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 2.5x less than Solar Pro 4 (medium).

विस्तृत तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Solar Pro 4 Solar Pro 4 medium रिलीज़: 2026-08-11

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Solar Pro 4 Solar Pro 4 medium रिलीज़: 2026-08-11
स्कोर	6.8	6.4
रैंक	#231	#269
विश्वसनीयता	10.0	9.9
संगति	9.6	8.4
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	66.7%	60.9%
अस्थिर टेस्ट	1	5
कुल रन	69	69
प्रति परिणाम लागत	0.244	0.673
कुल लागत	$0.039	$0.098
इनपुट कीमत	$0.040 / 1M	$0.090 / 1M
आउटपुट कीमत	$0.150 / 1M	$0.360 / 1M
कैश पढ़ने की कीमत	लागू नहीं	$0.018 / 1M
कैश लिखने की कीमत	लागू नहीं	लागू नहीं
कुल इनपुट टोकन	397,291	299,558
आउटपुट टोकन	6,355	33,248
रीजनिंग टोकन	143,752	374,819
प्रतिक्रिया समय (औसत)	6.66s	133.93s
प्रतिक्रिया समय (अधिकतम)	74.63s	519.91s
प्रतिक्रिया समय (कुल)	153.29s	3080.36s
पैरामीटर	~100B	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#231 Mercury 2.5 Preview

medium

लागत: $0.001
समय: 2.7s
टोकन: 2,241 tok

#269 Solar Pro 4

medium

इस मॉडल के लिए अभी तक कोई शोकेस परिणाम उत्पन्न नहीं हुआ है।

लागत: लागू नहीं
समय: -
टोकन: 0 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154
Solar Pro 4	4.7	3.1	33.3%	1		272.28s	211,656	2,505	39,151

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921
Solar Pro 4	8.2	7.9	83.3%	1		53.37s	1,104	581	35,551

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126
Solar Pro 4	5.5	7.4	44.4%	1		310.39s	6,960	24,549	98,680

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588
Solar Pro 4	6.4	5.8	66.7%	1		294.82s	60,774	4,412	64,360

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354
Solar Pro 4	10.0	10.0	100.0%	0		43.08s	7,575	252	16,531

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120
Solar Pro 4	3.0	10.0	0.0%	0		201.85s	1,007	25	59,990

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375
Solar Pro 4	3.0	10.0	0.0%	0		48.00s	609	136	8,755

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987
Solar Pro 4	9.8	10.0	100.0%	0		40.08s	909	76	12,588

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323
Solar Pro 4	9.0	7.9	88.9%	1		45.83s	1,017	469	22,441

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0
Solar Pro 4	10.0	10.0	100.0%	0		7.86s	7,620	225	768

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804
Solar Pro 4	3.0	10.0	0.0%	0		108.62s	327	18	16,004

तुलना जोड़ी बदलें

Mercury 2.5 PreviewmediumvsInklinglowनिःशुल्क उपलब्ध Beam 1.0 501B A23BmaxvsSolar Pro 4medium Gemini 3 Flash PreviewnonevsSolar Pro 4medium Mercury 2.5 PreviewmediumvsGPT-6 Solnone Minimax M3.1 Flashxhighनिःशुल्क उपलब्धvsSolar Pro 4medium Qwen3.5-122B-A10BnonevsSolar Pro 4medium Beam 1.0 501B A23BlowvsSolar Pro 4medium Gemini 3.5 FlashminimalvsSolar Pro 4medium KAT-Coder-Pro V2.5highvsSolar Pro 4medium Claude Opus 4.8nonevsMercury 2.5 Previewmedium Claude Sonnet 5.5lowvsMercury 2.5 Previewmedium Solar Pro 4mediumvsGLM 5.1none