नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

IBM: Granite 4.1 8B vs Inception: Mercury 2

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-05-01

मेट्रिक Granite 4.1 8B Granite 4.1 8B none प्रकाशन: 2026-05-01 Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24
स्कोअर 4.3 4.8
क्रमांक #135 #125
विश्वसनीयता 10.0 लागू नाही
सुसंगतता 10.0 9.0
बरोबर चाचण्या
प्रति प्रयत्न पास दर 11.1% 27.8%
अस्थिर चाचण्या 0 2
एकूण रन 54 54
प्रति निकाल खर्च 0.110 0.165
एकूण खर्च $0.003 $0.007
???? ??? $0.050 / 1M $0.250 / 1M
????? ??? $0.100 / 1M $0.750 / 1M
आउटपुट टोकन्स 2,712 1,625
रिझनिंग टोकन्स 0 0
प्रतिसाद वेळ (सरासरी) 767ms 613ms
प्रतिसाद वेळ (कमाल) 2.17s 1.27s
प्रतिसाद वेळ (एकूण) 13.81s 11.04s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.9 10.0 25.0% 0 844ms 903 0
Mercury 2 3.0 10.0 0.0% 0 483ms 286 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 6.9 10.0 0.0% 0 1.07s 339 0
Mercury 2 3.6 8.9 0.0% 0 969ms 310 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 1.88s 396 0
Mercury 2 3.0 10.0 0.0% 0 606ms 131 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 575ms 195 0
Mercury 2 7.3 5.9 83.3% 1 667ms 180 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 357ms 24 0
Mercury 2 5.3 7.2 44.4% 1 534ms 46 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.0 10.0 0.0% 0 499ms 115 0
Mercury 2 4.8 10.0 0.0% 0 628ms 159 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.6 9.9 0.0% 0 344ms 66 0
Mercury 2 6.5 10.0 50.0% 0 551ms 82 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.7 10.0 0.0% 0 635ms 431 0
Mercury 2 3.1 10.0 0.0% 0 533ms 234 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 10.0 10.0 100.0% 0 2.17s 243 0
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0

झटपट तुलना

तुलना जोडी बदला