नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4 Nano

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-03-17

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 GPT-5.4 Nano GPT-5.4 Nano none प्रकाशन: 2026-03-17
क्रमांक #42 #73
स्कोअर 6.3 4.3
सुसंगतता 8.5 7.3
प्रति निकाल खर्च 0.634 0.404
एकूण खर्च $0.045 $0.009
बरोबर चाचण्या
प्रति प्रयत्न पास दर 51.0% 29.4%
अस्थिर चाचण्या 3 6
एकूण रन 51 51
आउटपुट टोकन्स 3,723 2,185
रिझनिंग टोकन्स 46,120 0
प्रतिसाद वेळ (सरासरी) 2.25s 1.39s
प्रतिसाद वेळ (कमाल) 14.63s 3.84s
प्रतिसाद वेळ (एकूण) 35.99s 23.70s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.9 9.9 50.0% 0 1.12s 2,546 2,609
GPT-5.4 Nano 3.5 8.0 16.7% 1 1.18s 800 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
GPT-5.4 Nano 3.0 10.0 0.0% 0 3.84s 280 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 1.11s 183 1,656
GPT-5.4 Nano 6.5 10.0 50.0% 0 1.11s 219 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 2.9 7.2 11.1% 1 6.48s 41 30,754
GPT-5.4 Nano 2.9 4.4 22.2% 2 926ms 52 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 821ms 137 542
GPT-5.4 Nano 3.8 2.5 33.3% 1 1.31s 180 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
GPT-5.4 Nano 5.0 6.8 33.3% 1 787ms 84 0
Puzzle Solving स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.9 7.5 22.2% 1 934ms 354 2,758
GPT-5.4 Nano 3.7 7.3 22.2% 1 1.29s 348 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
GPT-5.4 Nano 10.0 10.0 100.0% 0 3.40s 222 0

झटपट तुलना

तुलना जोडी बदला