नेविगेशन
AI BENCHY
Your ad here

AI BENCHY तुलना

IBM: Granite 4.1 8B vs Inception: Mercury 2

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-05-01

मेट्रिक Granite 4.1 8B Granite 4.1 8B none रिलीज़: 2026-05-01 Mercury 2 Mercury 2 none रिलीज़: 2026-02-24
स्कोर 4.3 4.8
रैंक #135 #125
विश्वसनीयता 10.0 लागू नहीं
संगति 10.0 9.0
सही परीक्षण
प्रति प्रयास पास दर 11.1% 27.8%
अस्थिर टेस्ट 0 2
कुल रन 54 54
प्रति परिणाम लागत 0.110 0.165
कुल लागत $0.003 $0.007
???? ??? $0.050 / 1M $0.250 / 1M
????? ??? $0.100 / 1M $0.750 / 1M
आउटपुट टोकन 2,712 1,625
रीजनिंग टोकन 0 0
प्रतिक्रिया समय (औसत) 767ms 613ms
प्रतिक्रिया समय (अधिकतम) 2.17s 1.27s
प्रतिक्रिया समय (कुल) 13.81s 11.04s

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

एंटी-एआई ट्रिक्स स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 4.9 10.0 25.0% 0 844ms 903 0
Mercury 2 3.0 10.0 0.0% 0 483ms 286 0
कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 6.9 10.0 0.0% 0 1.07s 339 0
Mercury 2 3.6 8.9 0.0% 0 969ms 310 0
संयुक्त स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 3.0 10.0 0.0% 0 1.88s 396 0
Mercury 2 3.0 10.0 0.0% 0 606ms 131 0
डेटा पार्सिंग और निष्कर्षण स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 3.0 10.0 0.0% 0 575ms 195 0
Mercury 2 7.3 5.9 83.3% 1 667ms 180 0
डोमेन-विशिष्ट स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 3.0 10.0 0.0% 0 357ms 24 0
Mercury 2 5.3 7.2 44.4% 1 534ms 46 0
Samanya Buddhimatta स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 4.0 10.0 0.0% 0 499ms 115 0
Mercury 2 4.8 10.0 0.0% 0 628ms 159 0
निर्देश पालन स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 3.6 9.9 0.0% 0 344ms 66 0
Mercury 2 6.5 10.0 50.0% 0 551ms 82 0
पहेली समाधान स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 3.7 10.0 0.0% 0 635ms 431 0
Mercury 2 3.1 10.0 0.0% 0 533ms 234 0
टूल कॉलिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) आउटपुट टोकन रीजनिंग टोकन
Granite 4.1 8B 10.0 10.0 100.0% 0 2.17s 243 0
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0

त्वरित तुलना

तुलना जोड़ी बदलें