Mercury 2.5 Preview (low) vs Mistral Small 4

Mistral Small 4 average score मध्ये पुढे आहे: 5.1 vs 5.0. Mercury 2.5 Preview (low) चा benchmark खर्च कमी आहे: $0.011 vs $0.022. Mistral Small 4 वेगवान आहे: 1.20s vs 1.31s, pass rates 47.0% vs 25.8%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-02

क्रमांक: #254
एकूण आउटपुट टोकन्स: 31,975
प्रतिसाद वेळ (सरासरी): 1.31s
एकूण खर्च: $0.011

क्रमांक: #245
एकूण आउटपुट टोकन्स: 9,812
प्रतिसाद वेळ (सरासरी): 1.20s
एकूण खर्च: $0.022

शिफारस केलेले मॉडेल Mistral Small 4

It has the strongest score in this comparison (5.1) and the best overall balance of cost and response time across all 2 models.

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Mistral Small 4 Mistral Small 4 none प्रकाशन: 2026-03-16

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Mistral Small 4 Mistral Small 4 none प्रकाशन: 2026-03-16
स्कोअर	5.0	5.1
क्रमांक	#254	#245
विश्वसनीयता	10.0	10.0
सुसंगतता	7.0	9.6
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	47.0%	25.8%
अस्थिर चाचण्या	8	1
एकूण रन	66	66
प्रति निकाल खर्च	0.169	0.432
एकूण खर्च	$0.011	$0.022
इनपुट किंमत	$0.040 / 1M	$0.150 / 1M
आउटपुट किंमत	$0.150 / 1M	$0.600 / 1M
एकूण इनपुट टोकन्स	133,525	104,717
आउटपुट टोकन्स	7,259	9,812
रिझनिंग टोकन्स	24,716	0
प्रतिसाद वेळ (सरासरी)	1.31s	1.20s
प्रतिसाद वेळ (कमाल)	7.29s	13.16s
प्रतिसाद वेळ (एकूण)	28.77s	26.41s
पॅरामीटर्स	~100B	119B एकूण (6B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#254 Mercury 2.5 Preview

low

खर्च: $0.001
वेळ: 1.5s
टोकन्स: 1,169 tok

#245 Mistral Small 4

none

खर्च: $0.002
वेळ: 10.4s
टोकन्स: 2,370 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.6	3.8	66.7%	3		759ms	786	290	3,019
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.5	10.0	33.3%	0		972ms	7,794	695	2,263
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.77s	110,517	5,013	9,661
Mistral Small 4	3.0	10.0	0.0%	0		7.44s	79,039	8,107	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	5.8	66.7%	1		1.12s	8,309	611	1,521
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	4.1	4.4	44.5%	2		836ms	849	45	2,247
Mistral Small 4	5.3	10.0	33.3%	0		377ms	807	28	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		1.05s	540	105	749
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	10.0	50.0%	0		1.60s	745	99	1,492
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	8.2	7.2	88.9%	1		710ms	777	312	2,271
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	2.8	1.6	33.3%	1		1.57s	2,983	76	739
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		591ms	225	13	754
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0

झटपट तुलना

तुलना जोडी बदला