नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Inception: Mercury 2

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-04

मेट्रिक Claude Sonnet 4.6 Claude Sonnet 4.6 none प्रकाशन: 2026-02-17 Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24
स्कोअर 6.8 6.6
क्रमांक #77 #81
विश्वसनीयता 10.0 10.0
सुसंगतता 9.7 8.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 55.6% 54.0%
अस्थिर चाचण्या 1 3
एकूण रन 63 63
प्रति निकाल खर्च 2.870 0.578
एकूण खर्च $0.316 $0.058
इनपुट किंमत $3.000 / 1M $0.250 / 1M
आउटपुट किंमत $15.000 / 1M $0.750 / 1M
एकूण इनपुट टोकन्स 57,886 35,116
आउटपुट टोकन्स 9,465 4,048
रिझनिंग टोकन्स 0 61,219
प्रतिसाद वेळ (सरासरी) 5.04s 2.24s
प्रतिसाद वेळ (कमाल) 23.84s 14.63s
प्रतिसाद वेळ (एकूण) 70.60s 44.72s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 4.8 10.0 25.0% 0 2.94s 636 1,214 0
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 5.5 10.0 33.3% 0 5.19s 8,522 2,127 0
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 9.5 10.0 100.0% 0 23.84s 26,024 3,766 0
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 10.0 10.0 100.0% 0 3.43s 8,574 252 0
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 7.7 10.0 66.7% 0 3.54s 759 413 0
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 6.1 3.1 66.7% 1 2.56s 513 192 0
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 6.5 10.0 50.0% 0 1.96s 690 90 0
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 7.7 10.0 66.7% 0 2.53s 663 533 0
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 10.0 10.0 100.0% 0 4.11s 11,301 447 0
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 3.0 10.0 0.0% 0 4.67s 204 431 0
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748

झटपट तुलना

तुलना जोडी बदला