#90 Mercury 2
medium- खर्च
- $0.002
- वेळ
- 2.1s
- टोकन्स
- 1,702 tok
Inception
प्रकाशन: 2026-02-24
चाचणी तारीख: 2026-05-22 00:40
inception/mercury-2::medium
~100Bइतरबंद स्रोतअंदाजित
(medium)
(none)
सारांश
Mercury 2 AI BENCHY वर 6.3 स्कोर करते आणि #90 वर आहे. याची reliability 10.0, pass rate 50.0%, एकूण खर्च $0.055, आणि सरासरी response time 2.27s आहे.
Mercury 2 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #18. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- ~100B
- आर्किटेक्चर
- इतर
- उपलब्धता
- बंद स्रोत
- परवाना
- -
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
6.3
सुसंगतता
8.4
10.0
$0.055
एकूण आउटपुट टोकन्स
62,397
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.250 / 1M
आउटपुट किंमत
$0.750 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
4
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:05 पुन्हा चाचणी | 7.0 | 10.0 | $0.094 | तुलना करा | |
| 2026-07-16 23:14 नवीन चाचणी जोडली | 7.0 | 10.0 | $0.093 | तुलना करा | |
| 2026-06-04 14:27 नवीन चाचणी जोडली | 6.6 | 10.0 | $0.058 | तुलना करा | |
| 2026-05-22 00:40 पुन्हा चाचणी | 6.3 | 10.0 | $0.055 | सध्याची रन | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 6.5 | लागू नाही | $0.047 | तुलना करा |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:40 · पुन्हा चाचणी | 60/60 प्रयत्न | 6.3 | 8.4 | 10.0 | 8/20 | 4 | 62,397 | 0 | $0.055 | 2.27s |
| 2026-07-16 23:14 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.0 | 8.8 | 10.0 | 10/22 | 3 | 87,119 | 109,572 | $0.093 | 2.72s |
| फरक | — | -0.7 | -0.4 | 0.0 | -2 | +1 | -24722 | -109572 | -$0.038 | -449ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mercury 2mediumvsLongCat 2.0lowMercury 2mediumvsStep 3.7 FlashhighMercury 2mediumvsQwen3.7 FlashmediumMercury 2mediumvsBeam 1.0 501B A23BmediumMercury 2mediumvsGLM 5.2noneMercury 2mediumvsKAT-Coder-Pro V2.5lowMercury 2mediumvsGPT-5.5noneMercury 2mediumvsClaude Sonnet 5.5mediumMercury 2mediumvsGLM 5.3 FlashlowMercury 2mediumvsMinimax M3.1 Flashhighमोफत उपलब्ध
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 6.9 | 9.9 | |
| कोडिंग | 7.2 | 6.5 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 3.8 | 7.3 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |