AI BENCHY
Advertise here
#91

Mercury 2.5 Preview

Inception रिलीज़: 2026-09-02 परीक्षण किया गया: 2026-09-02 02:06 inception/mercury-2.5-preview::medium
~100Bअन्यबंद स्रोतअनुमानित
(high) (medium) (low) (none)

सारांश

Mercury 2.5 Preview AI BENCHY पर 7.5 स्कोर करता है और #91 पर है। इसकी reliability 10.0, pass rate 69.7%, कुल लागत $0.024, और औसत response time 3.58s है।

Mercury 2.5 Preview को अलग क्या बनाता है: यह एंटी-एआई ट्रिक्स में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि टूल कॉलिंग इसकी सबसे कमजोर जगह है, जहाँ यह #16 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।

मॉडल विवरण

शोध की तारीख: 2026-09-02

अनुमानित
पैरामीटर
~100B
आर्किटेक्चर
अन्य
उपलब्धता
बंद स्रोत
लाइसेंस
-

सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।

पैरामीटर स्रोत उपलब्धता स्रोत

स्कोर

7.5

संगति

9.6

विश्वसनीयता

10.0

कुल लागत (वर्तमान कीमत)

$0.024

कुल आउटपुट टोकन

127,034

कुल इनपुट टोकन

112,713

इनपुट कीमत

$0.040 / 1M

आउटपुट कीमत

$0.150 / 1M

सही परीक्षण

गलत टेस्ट: 7

प्रति प्रयास पास दर: 69.7%

अस्थिर टेस्ट

1

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

3.58s

प्रतिक्रिया समय (अधिकतम): 17.84s

प्रतिक्रिया समय (कुल): 78.66s

गलत उत्तर: 4 API त्रुटि: 1 निर्देशों का पालन नहीं किया: 1 कोई उत्तर नहीं: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#91 Mercury 2.5 Preview

medium
लागत
$0.001
समय
2.7s
टोकन
2,241 tok

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

Mercury 2.5 PreviewmediumvsQwen3.5-27BmediumMercury 2.5 PreviewmediumvsGPT-5.4 MinimediumMercury 2.5 PreviewmediumvsQwen3.5 Plus 2026-02-15mediumMercury 2.5 PreviewmediumvsGrok Build 0.1mediumMercury 2.5 PreviewmediumvsGPT 5.3 ChatnoneMercury 2.5 PreviewmediumvsGemini 3.1 Flash Lite PreviewmediumMercury 2.5 PreviewmediumvsMiniMax M3mediumMercury 2.5 PreviewmediumvsQwen3.7 MaxnoneMercury 2.5 PreviewmediumvsGPT-5.6 TerralowMercury 2.5 PreviewmediumvsKimi K2.7 Codemedium

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 10.0 10.0
कोडिंग 7.8 10.0
संयुक्त 6.5 10.0
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 5.0 10.0
निर्देश पालन 9.8 10.0
पहेली समाधान 10.0 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल