AI BENCHY
Advertise here
#74

Mercury 2

Inception प्रकाशन: 2026-02-24 चाचणी तारीख: 2026-07-16 23:14 inception/mercury-2::medium
~100Bइतरबंद स्रोतअंदाजित
(medium) (none)

सारांश

Mercury 2 AI BENCHY वर 7.0 स्कोर करते आणि #74 वर आहे. याची reliability 10.0, pass rate 51.5%, एकूण खर्च $0.093, आणि सरासरी response time 2.72s आहे.

Mercury 2 खास का आहे: समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~100B
आर्किटेक्चर
इतर
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

8.8

एकूण आउटपुट टोकन्स

87,119

एकूण इनपुट टोकन्स

109,572

इनपुट किंमत

$0.250 / 1M

आउटपुट किंमत

$0.750 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 12

प्रति प्रयत्न पास दर: 51.5%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

2.72s

प्रतिसाद वेळ (कमाल): 14.63s

प्रतिसाद वेळ (एकूण): 57.12s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#74 Mercury 2

medium
खर्च
$0.002
वेळ
2.1s
टोकन्स
1,702 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:05 पुन्हा चाचणी 7.0 10.0 $0.094 तुलना करा
2026-07-16 23:14 नवीन चाचणी जोडली 7.0 10.0 $0.093 सध्याची रन
2026-06-04 14:27 नवीन चाचणी जोडली 6.6 10.0 $0.058 तुलना करा
2026-05-22 00:40 पुन्हा चाचणी 6.3 10.0 $0.055 तुलना करा
2026-04-11 01:44 पहिली नोंदलेली रन 6.5 लागू नाही $0.047 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 23:14 · नवीन चाचणी जोडली66/66 प्रयत्न7.08.810.010/22387,119109,572$0.0932.72s
2026-08-14 03:05 · पुन्हा चाचणी66/66 प्रयत्न7.08.410.010/22487,554110,515$0.0942.95s
फरक0.0+0.40.00-1-435-943-$0.001-227ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $0.250 / 1M $0.750 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.9 9.9
कोडिंग 8.2 7.7
संयुक्त 6.7 9.1
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.9
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 4.8 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 5.4 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स