नेविगेशन
Advertise here

Mercury 2.5 (low) vs Nemotron 3.5 Lightning (high)

Nemotron 3.5 Lightning (high) average score में आगे है: 5.2 vs 5.1. Mercury 2.5 (low) की benchmark लागत कम है: $0.020 vs $0.111. Mercury 2.5 (low) तेज है: 3.34s vs 77.08s, pass rates 37.7% vs 47.8%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-01

तुलना किए गए मॉडल

रैंक
#293
कुल आउटपुट टोकन
40,302
प्रतिक्रिया समय (औसत)
3.34s
कुल लागत
$0.020
रैंक
#287
कुल आउटपुट टोकन
659,693
प्रतिक्रिया समय (औसत)
77.08s
कुल लागत
$0.111
अनुशंसित मॉडल Mercury 2.5 (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 5.8x less than Nemotron 3.5 Lightning (high).

विस्तृत तुलना

मेट्रिक Mercury 2.5 Mercury 2.5 low रिलीज़: 2026-09-08 Nemotron 3.5 Lightning Nemotron 3.5 Lightning high रिलीज़: 2026-08-11 निःशुल्क उपलब्ध
स्कोर 5.1 5.2
रैंक #293 #287
विश्वसनीयता 9.8 9.6
संगति 8.2 5.7
प्रयास 69/69 69/69
सही परीक्षण
प्रति प्रयास पास दर 37.7% 47.8%
अस्थिर टेस्ट 5 12
कुल रन 69 69
प्रति परिणाम लागत 0.319 0.000
कुल लागत $0.020 $0.111
इनपुट कीमत $0.040 / 1M $0.060 / 1M
आउटपुट कीमत $0.150 / 1M $0.160 / 1M
कुल इनपुट टोकन 326,083 170,517
आउटपुट टोकन 7,224 149,968
रीजनिंग टोकन 33,078 509,725
प्रतिक्रिया समय (औसत) 3.34s 77.08s
प्रतिक्रिया समय (अधिकतम) 47.06s 490.99s
प्रतिक्रिया समय (कुल) 76.80s 1772.78s
पैरामीटर ~100B 30B कुल (3B सक्रिय)
उपलब्धता बंद स्रोत वेट उपलब्ध

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#293 Mercury 2.5

low
लागत
$0.001
समय
2.4s
टोकन
1,236 tok

#287 Nemotron 3.5 Lightning

high
लागत
$0.000
समय
92.8s
टोकन
11,343 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2.5 5.5 10.0 33.3% 0 972ms 7,909 521 2,269
Nemotron 3.5 Lightning 4.4 5.1 33.3% 2 168.41s 7,623 68,533 242,319

त्वरित तुलना

तुलना जोड़ी बदलें