#59 Mercury 2
medium- खर्च
- $0.002
- वेळ
- 2.1s
- टोकन्स
- 1,702 tok
Inception
प्रकाशन: 2026-02-24
चाचणी तारीख: 2026-04-11 01:44
inception/mercury-2::medium
~100Bइतरबंद स्रोतअंदाजित
(medium)
(none)
सारांश
Mercury 2 AI BENCHY वर 6.5 स्कोर करते आणि #59 वर आहे. याची reliability लागू नाही, pass rate 53.7%, एकूण खर्च $0.047, आणि सरासरी response time 2.21s आहे.
Mercury 2 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- ~100B
- आर्किटेक्चर
- इतर
- उपलब्धता
- बंद स्रोत
- परवाना
- -
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
6.5
सुसंगतता
8.6
लागू नाही
$0.047
एकूण आउटपुट टोकन्स
52,305
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.250 / 1M
आउटपुट किंमत
$0.750 / 1M
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:05 पुन्हा चाचणी | 7.0 | 10.0 | $0.094 | तुलना करा | |
| 2026-07-16 23:14 नवीन चाचणी जोडली | 7.0 | 10.0 | $0.093 | तुलना करा | |
| 2026-06-04 14:27 नवीन चाचणी जोडली | 6.6 | 10.0 | $0.058 | तुलना करा | |
| 2026-05-22 00:40 पुन्हा चाचणी | 6.3 | 10.0 | $0.055 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 6.5 | लागू नाही | $0.047 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 6.5 | 8.6 | लागू नाही | 8/18 | 3 | 52,305 | 0 | $0.047 | 2.21s |
| 2026-08-14 03:05 · पुन्हा चाचणी | 66/66 प्रयत्न | 7.0 | 8.4 | 10.0 | 10/22 | 4 | 87,554 | 110,515 | $0.094 | 2.95s |
| फरक | — | -0.5 | +0.2 | -2 | -1 | -35249 | -110515 | -$0.047 | -740ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mercury 2mediumvsGPT-5.5noneMercury 2mediumvsGrok 4.20mediumMercury 2mediumvsGLM 5.1mediumMercury 2mediumvsSeed-2.0-MinimediumMercury 2mediumvsDeepSeek V3.2mediumMercury 2mediumvsKimi K2.5mediumMercury 2mediumvsGPT-5.6 SolnoneMercury 2mediumvsKAT-Coder-Pro V2.5mediumMercury 2mediumvsGrok 4.3mediumMercury 2mediumvsClaude Fable 5.1low
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 6.9 | 9.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 3.9 | 7.5 | |
| टूल कॉलिंग | 10.0 | 10.0 |