AI BENCHY
Advertise here
#157

Mercury 2.5 Preview

Inception प्रकाशन: 2026-09-02 चाचणी तारीख: 2026-09-02 02:06 inception/mercury-2.5-preview::high
~100Bइतरबंद स्रोतअंदाजित
(high) (medium) (low) (none)

सारांश

Mercury 2.5 Preview AI BENCHY वर 6.6 स्कोर करते आणि #157 वर आहे. याची reliability 10.0, pass rate 65.2%, एकूण खर्च $0.030, आणि सरासरी response time 4.01s आहे.

Mercury 2.5 Preview खास का आहे: हे Samanya Buddhimatta मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #4 आहे; तर डोमेन-विशिष्ट हा सर्वात कमकुवत भाग आहे, rank #13.

मॉडेलची माहिती

संशोधन दिनांक: 2026-09-02

अंदाजित
पॅरामीटर्स
~100B
आर्किटेक्चर
इतर
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

6.6

सुसंगतता

8.2

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.030

एकूण आउटपुट टोकन्स

163,505

एकूण इनपुट टोकन्स

115,759

इनपुट किंमत

$0.040 / 1M

आउटपुट किंमत

$0.150 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 10

प्रति प्रयत्न पास दर: 65.2%

अस्थिर चाचण्या

5

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

4.01s

प्रतिसाद वेळ (कमाल): 17.71s

प्रतिसाद वेळ (एकूण): 88.25s

चुकीचे उत्तर: 6 सूचनांचे पालन केले नाही: 2 API त्रुटी: 1 अवैध टूल कॉल: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#157 Mercury 2.5 Preview

high
खर्च
$0.001
वेळ
4.5s
टोकन्स
3,851 tok

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Mercury 2.5 PreviewhighvsQwen3.6 35B A3BmediumMercury 2.5 PreviewhighvsQwen3.5 Plus 2026-02-15noneMercury 2.5 PreviewhighvsGemini 3.1 Flash LitelowMercury 2.5 PreviewhighvsQwen3.6 27BmediumMercury 2.5 PreviewhighvsInkling SmallmediumMercury 2.5 PreviewhighvsLaguna XS 2.1mediumमोफत उपलब्धMercury 2.5 PreviewhighvsGemini 3.1 Flash Lite PreviewlowMercury 2.5 PreviewhighvsGemini 3.1 Flash Lite PreviewnoneMercury 2.5 PreviewhighvsQwen3.5-27BnoneMercury 2.5 PreviewhighvsQwen3.6 Max Previewnone

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 6.7 7.8
संयुक्त 3.8 1.6
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 4.4
Samanya Buddhimatta 5.1 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 10.0 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स