नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs xAI: Grok 4.1 Fast

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-04-16

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 Grok 4.1 Fast Grok 4.1 Fast medium प्रकाशन: 2025-11-19
स्कोअर 6.5 6.7
क्रमांक #53 #51
सुसंगतता 8.6 7.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर 53.7% 64.8%
अस्थिर चाचण्या 3 6
एकूण रन 54 54
प्रति निकाल खर्च 0.580 0.613
एकूण खर्च $0.047 $0.056
???? ??? $0.250 / 1M $0.200 / 1M
????? ??? $0.750 / 1M $0.500 / 1M
आउटपुट टोकन्स 3,972 2,010
रिझनिंग टोकन्स 48,333 91,298
प्रतिसाद वेळ (सरासरी) 2.21s 23.88s
प्रतिसाद वेळ (कमाल) 14.63s 121.79s
प्रतिसाद वेळ (एकूण) 37.51s 262.66s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.9 9.9 50.0% 0 1.12s 2,546 2,609
Grok 4.1 Fast 8.7 7.9 91.7% 1 3.81s 108 4,741
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.53s 249 2,213
Grok 4.1 Fast 2.3 1.1 33.3% 1 23.58s 821 6,703
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 1.11s 183 1,656
Grok 4.1 Fast 10.0 10.0 100.0% 0 6.63s 180 5,409
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 2.9 7.2 11.1% 1 6.48s 41 30,754
Grok 4.1 Fast 5.8 4.4 66.7% 2 121.79s 11 37,657
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 821ms 137 542
Grok 4.1 Fast 4.2 9.9 0.0% 0 16.25s 127 3,456
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
Grok 4.1 Fast 6.6 10.0 50.0% 0 5.30s 55 3,489
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.9 7.5 22.2% 1 934ms 354 2,758
Grok 4.1 Fast 5.3 7.2 44.4% 1 8.08s 187 6,086
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
Grok 4.1 Fast 2.8 1.6 33.3% 1 27.71s 260 11,485

झटपट तुलना

तुलना जोडी बदला