#59 Mercury 2
medium- लागत
- $0.002
- समय
- 2.1s
- टोकन
- 1,702 tok
Inception
रिलीज़: 2026-02-24
परीक्षण किया गया: 2026-04-11 01:44
inception/mercury-2::medium
~100Bअन्यबंद स्रोतअनुमानित
(medium)
(none)
सारांश
Mercury 2 AI BENCHY पर 6.5 स्कोर करता है और #59 पर है। इसकी reliability लागू नहीं, pass rate 53.7%, कुल लागत $0.047, और औसत response time 2.21s है।
Mercury 2 को अलग क्या बनाता है: इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।
मॉडल विवरण
शोध की तारीख: 2026-08-12
- पैरामीटर
- ~100B
- आर्किटेक्चर
- अन्य
- उपलब्धता
- बंद स्रोत
- लाइसेंस
- -
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
6.5
संगति
8.6
लागू नहीं
$0.047
कुल आउटपुट टोकन
52,305
कुल इनपुट टोकन
0
इनपुट कीमत
$0.250 / 1M
आउटपुट कीमत
$0.750 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
3
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 03:05 दोबारा परीक्षण | 7.0 | 10.0 | $0.094 | तुलना करें | |
| 2026-07-16 23:14 नया टेस्ट जोड़ा गया | 7.0 | 10.0 | $0.093 | तुलना करें | |
| 2026-06-04 14:27 नया टेस्ट जोड़ा गया | 6.6 | 10.0 | $0.058 | तुलना करें | |
| 2026-05-22 00:40 दोबारा परीक्षण | 6.3 | 10.0 | $0.055 | तुलना करें | |
| 2026-04-11 01:44 पहला दर्ज रन | 6.5 | लागू नहीं | $0.047 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहला दर्ज रन | 54/54 प्रयास | 6.5 | 8.6 | लागू नहीं | 8/18 | 3 | 52,305 | 0 | $0.047 | 2.21s |
| 2026-06-04 14:27 · नया टेस्ट जोड़ा गया | 63/63 प्रयास | 6.6 | 8.8 | 10.0 | 10/21 | 3 | 65,267 | 35,116 | $0.058 | 2.24s |
| अंतर | — | -0.2 | -0.2 | -2 | 0 | -12962 | -35116 | -$0.012 | -29ms |
बेंचमार्क कवरेज अलग है: 54/54 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर के अनुसार शीर्ष मॉडल
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
Mercury 2mediumvsLongCat 2.0lowMercury 2mediumvsStep 3.7 FlashhighMercury 2mediumvsQwen3.7 FlashmediumMercury 2mediumvsBeam 1.0 501B A23BmediumMercury 2mediumvsGLM 5.2noneMercury 2mediumvsKAT-Coder-Pro V2.5lowMercury 2mediumvsGPT-5.5noneMercury 2mediumvsClaude Sonnet 5.5mediumMercury 2mediumvsGLM 5.3 FlashlowMercury 2mediumvsQwen3.6 35B A3Bmedium
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 6.9 | 9.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| निर्देश पालन | 10.0 | 10.0 | |
| पहेली समाधान | 3.9 | 7.5 | |
| टूल कॉलिंग | 10.0 | 10.0 |