नेविगेशन
AI BENCHY
Advertise here

Mercury 2.5 Preview vs Mistral Small 4 (medium)

Mistral Small 4 (medium) average score में आगे है: 5.1 vs 4.9. Mercury 2.5 Preview की benchmark लागत कम है: $0.018 vs $0.097. Mercury 2.5 Preview तेज है: 3.51s vs 10.80s, pass rates 30.3% vs 43.9%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-09-02

रैंक
#259
कुल आउटपुट टोकन
82,585
प्रतिक्रिया समय (औसत)
3.51s
कुल लागत
$0.018
रैंक
#246
कुल आउटपुट टोकन
133,597
प्रतिक्रिया समय (औसत)
10.80s
कुल लागत
$0.097
अनुशंसित मॉडल Mercury 2.5 Preview

Its score stays close to the best score here (4.9 vs 5.1), while costing about 5.5x less than Mistral Small 4 (medium).

विस्तृत तुलना

मेट्रिक Mercury 2.5 Preview Mercury 2.5 Preview none रिलीज़: 2026-09-02 Mistral Small 4 Mistral Small 4 medium रिलीज़: 2026-03-16
स्कोर 4.9 5.1
रैंक #259 #246
विश्वसनीयता 10.0 10.0
संगति 8.3 7.0
प्रयास 66/66 66/66
सही परीक्षण
प्रति प्रयास पास दर 30.3% 43.9%
अस्थिर टेस्ट 5 8
कुल रन 66 66
प्रति परिणाम लागत 0.440 1.923
कुल लागत $0.018 $0.097
इनपुट कीमत $0.040 / 1M $0.150 / 1M
आउटपुट कीमत $0.150 / 1M $0.600 / 1M
कुल इनपुट टोकन 130,296 140,559
आउटपुट टोकन 82,585 40,268
रीजनिंग टोकन 0 93,329
प्रतिक्रिया समय (औसत) 3.51s 10.80s
प्रतिक्रिया समय (अधिकतम) 60.70s 59.15s
प्रतिक्रिया समय (कुल) 77.28s 237.60s
पैरामीटर ~100B 119B कुल (6B सक्रिय)
उपलब्धता बंद स्रोत मुक्त स्रोत

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#259 Mercury 2.5 Preview

none
अमान्य SVG
लागत
$0.001
समय
3.3s
टोकन
3,122 tok

#246 Mistral Small 4

medium
लागत
$0.006
समय
47.9s
टोकन
9,857 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2.5 Preview 4.7 7.9 22.2% 1 459ms 7,850 650 0
Mistral Small 4 4.4 5.1 33.3% 2 39.98s 7,636 11,635 54,715

त्वरित तुलना

तुलना जोड़ी बदलें