AI BENCHY
Advertise here
#157

Mercury 2.5 Preview

Inception रिलीज़: 2026-09-02 परीक्षण किया गया: 2026-09-02 02:06 inception/mercury-2.5-preview::high
~100Bअन्यबंद स्रोतअनुमानित
(high) (medium) (low) (none)

सारांश

Mercury 2.5 Preview AI BENCHY पर 6.6 स्कोर करता है और #157 पर है। इसकी reliability 10.0, pass rate 65.2%, कुल लागत $0.030, और औसत response time 4.01s है।

Mercury 2.5 Preview को अलग क्या बनाता है: यह Samanya Buddhimatta में सबसे अलग दिखता है, जहाँ इसकी रैंक #4 है; जबकि डोमेन-विशिष्ट इसकी सबसे कमजोर जगह है, जहाँ यह #13 पर है।

मॉडल विवरण

शोध की तारीख: 2026-09-02

अनुमानित
पैरामीटर
~100B
आर्किटेक्चर
अन्य
उपलब्धता
बंद स्रोत
लाइसेंस
-

सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।

पैरामीटर स्रोत उपलब्धता स्रोत

स्कोर

6.6

संगति

8.2

विश्वसनीयता

10.0

कुल लागत (वर्तमान कीमत)

$0.030

कुल आउटपुट टोकन

163,505

कुल इनपुट टोकन

115,759

इनपुट कीमत

$0.040 / 1M

आउटपुट कीमत

$0.150 / 1M

सही परीक्षण

गलत टेस्ट: 10

प्रति प्रयास पास दर: 65.2%

अस्थिर टेस्ट

5

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

4.01s

प्रतिक्रिया समय (अधिकतम): 17.71s

प्रतिक्रिया समय (कुल): 88.25s

गलत उत्तर: 6 निर्देशों का पालन नहीं किया: 2 API त्रुटि: 1 अमान्य टूल कॉल: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#157 Mercury 2.5 Preview

high
लागत
$0.001
समय
4.5s
टोकन
3,851 tok

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

Mercury 2.5 PreviewhighvsQwen3.6 35B A3BmediumMercury 2.5 PreviewhighvsQwen3.5 Plus 2026-02-15noneMercury 2.5 PreviewhighvsGemini 3.1 Flash LitelowMercury 2.5 PreviewhighvsQwen3.6 27BmediumMercury 2.5 PreviewhighvsInkling SmallmediumMercury 2.5 PreviewhighvsLaguna XS 2.1mediumनिःशुल्क उपलब्धMercury 2.5 PreviewhighvsGemini 3.1 Flash Lite PreviewlowMercury 2.5 PreviewhighvsGemini 3.1 Flash Lite PreviewnoneMercury 2.5 PreviewhighvsQwen3.5-27BnoneMercury 2.5 PreviewhighvsQwen3.6 Max Previewnone

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 10.0 10.0
कोडिंग 6.7 7.8
संयुक्त 3.8 1.6
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 4.4
Samanya Buddhimatta 5.1 10.0
निर्देश पालन 9.8 10.0
पहेली समाधान 10.0 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल