नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs xAI: Grok 4.1 Fast

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-04-16

मेट्रिक Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24 Grok 4.1 Fast Grok 4.1 Fast medium प्रकाशन: 2025-11-19
स्कोअर 4.8 6.7
क्रमांक #89 #51
सुसंगतता 9.0 7.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर 27.8% 64.8%
अस्थिर चाचण्या 2 6
एकूण रन 54 54
प्रति निकाल खर्च 0.165 0.613
एकूण खर्च $0.007 $0.056
???? ??? $0.250 / 1M $0.200 / 1M
????? ??? $0.750 / 1M $0.500 / 1M
आउटपुट टोकन्स 1,625 2,010
रिझनिंग टोकन्स 0 91,298
प्रतिसाद वेळ (सरासरी) 613ms 23.88s
प्रतिसाद वेळ (कमाल) 1.27s 121.79s
प्रतिसाद वेळ (एकूण) 11.04s 262.66s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 483ms 286 0
Grok 4.1 Fast 8.7 7.9 91.7% 1 3.81s 108 4,741
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.6 8.9 0.0% 0 969ms 310 0
Grok 4.1 Fast 2.3 1.1 33.3% 1 23.58s 821 6,703
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 606ms 131 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 667ms 180 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 6.63s 180 5,409
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.3 7.2 44.4% 1 534ms 46 0
Grok 4.1 Fast 5.8 4.4 66.7% 2 121.79s 11 37,657
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 628ms 159 0
Grok 4.1 Fast 4.2 9.9 0.0% 0 16.25s 127 3,456
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.5 10.0 50.0% 0 551ms 82 0
Grok 4.1 Fast 6.6 10.0 50.0% 0 5.30s 55 3,489
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.1 10.0 0.0% 0 533ms 234 0
Grok 4.1 Fast 5.3 7.2 44.4% 1 8.08s 187 6,086
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0
Grok 4.1 Fast 2.8 1.6 33.3% 1 27.71s 260 11,485

झटपट तुलना

तुलना जोडी बदला