AI BENCHY
Advertise here
#254

Mercury 2.5 Preview

Inception रिलीज़: 2026-09-02 परीक्षण किया गया: 2026-09-02 02:04 inception/mercury-2.5-preview::low
~100Bअन्यबंद स्रोतअनुमानित

सारांश

Mercury 2.5 Preview AI BENCHY पर 5.0 स्कोर करता है और #254 पर है। इसकी reliability 10.0, pass rate 47.0%, कुल लागत $0.011, और औसत response time 1.31s है।

Mercury 2.5 Preview को अलग क्या बनाता है: यह पहेली समाधान में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि टूल कॉलिंग इसकी सबसे कमजोर जगह है, जहाँ यह #15 पर है। यह समान मॉडलों की तुलना में काफ़ी तेज है।

मॉडल विवरण

शोध की तारीख: 2026-09-02

अनुमानित
पैरामीटर
~100B
आर्किटेक्चर
अन्य
उपलब्धता
बंद स्रोत
लाइसेंस
-

सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।

संगति

7.0

कुल आउटपुट टोकन

31,975

कुल इनपुट टोकन

133,525

इनपुट कीमत

$0.040 / 1M

आउटपुट कीमत

$0.150 / 1M

सही परीक्षण

गलत टेस्ट: 16

प्रति प्रयास पास दर: 47.0%

अस्थिर टेस्ट

8

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

1.31s

प्रतिक्रिया समय (अधिकतम): 7.29s

प्रतिक्रिया समय (कुल): 28.77s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#254 Mercury 2.5 Preview

low
लागत
$0.001
समय
1.5s
टोकन
1,169 tok

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 5.6 3.8
कोडिंग 5.5 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग और निष्कर्षण 6.3 5.8
डोमेन-विशिष्ट 4.1 4.4
Samanya Buddhimatta 5.0 10.0
निर्देश पालन 6.3 10.0
पहेली समाधान 8.2 7.2
टूल कॉलिंग 2.8 1.6
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल