#143 Mercury 2
none- लागत
- $0.002
- समय
- 1.8s
- टोकन
- 1,514 tok
सारांश
Mercury 2 AI BENCHY पर 4.6 स्कोर करता है और #143 पर है। इसकी reliability 10.0, pass rate 25.0%, कुल लागत $0.009, और औसत response time 614ms है।
Mercury 2 को अलग क्या बनाता है: यह डोमेन-विशिष्ट में सबसे अलग दिखता है, जहाँ इसकी रैंक #4 है; जबकि एंटी-एआई ट्रिक्स इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
4.6
संगति
9.1
10.0
$0.009
कुल आउटपुट टोकन
2,984
कुल इनपुट टोकन
0
इनपुट कीमत
$0.250 / 1M
आउटपुट कीमत
$0.750 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
2
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 03:05 दोबारा परीक्षण | 4.7 | 10.0 | $0.030 | तुलना करें | |
| 2026-07-16 23:13 नया टेस्ट जोड़ा गया | 4.6 | 10.0 | $0.030 | तुलना करें | |
| 2026-06-04 14:27 नया टेस्ट जोड़ा गया | 4.5 | 10.0 | $0.011 | तुलना करें | |
| 2026-05-22 00:39 सूट बदला गया | 4.6 | 10.0 | $0.009 | वर्तमान रन | |
| 2026-04-11 01:44 पहला दर्ज रन | 4.8 | लागू नहीं | $0.007 | तुलना करें |
इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:39 · सूट बदला गया | 60/60 प्रयास | 4.6 | 9.1 | 10.0 | 4/20 | 2 | 2,984 | 0 | $0.009 | 614ms |
| 2026-06-04 14:27 · नया टेस्ट जोड़ा गया | 63/63 प्रयास | 4.5 | 9.2 | 10.0 | 4/21 | 2 | 4,439 | 28,113 | $0.011 | 653ms |
| अंतर | — | +0.1 | -0.1 | 0.0 | 0 | 0 | -1455 | -28113 | -$0.002 | -39ms |
बेंचमार्क कवरेज अलग है: 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 3.0 | 10.0 | |
| कोडिंग | 3.5 | 9.4 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| निर्देश पालन | 6.5 | 10.0 | |
| पहेली समाधान | 3.1 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |