नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Google: Gemma 4 26B A4B vs Inception: Mercury 2

सारांश

Gemma 4 26B A4B vs Mercury 2 benchmark तुलना: Gemma 4 26B A4B average score मध्ये पुढे आहे: 5.5 vs 4.6. Gemma 4 26B A4B चा benchmark खर्च कमी आहे: $0.004 vs $0.011. Mercury 2 वेगवान आहे: 653ms vs 5.91s, pass rates 44.4% vs 23.8%.

शिफारस केलेले मॉडेल: Gemma 4 26B A4B - It has the best score here (5.5), while costing about 3.4x less than Mercury 2.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-18

मेट्रिक Gemma 4 26B A4B Gemma 4 26B A4B none प्रकाशन: 2026-04-03 मोफत उपलब्ध Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24
स्कोअर 5.5 4.6
क्रमांक #121 #151
विश्वसनीयता 10.0 10.0
सुसंगतता 9.2 9.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर 44.4% 23.8%
अस्थिर चाचण्या 2 2
एकूण रन 63 63
प्रति निकाल खर्च 0.068 0.259
एकूण खर्च $0.004 $0.011
इनपुट किंमत $0.060 / 1M $0.250 / 1M
आउटपुट किंमत $0.330 / 1M $0.750 / 1M
एकूण इनपुट टोकन्स 40,038 28,113
आउटपुट टोकन्स 1,824 4,439
रिझनिंग टोकन्स 0 0
प्रतिसाद वेळ (सरासरी) 5.91s 653ms
प्रतिसाद वेळ (कमाल) 57.10s 1.43s
प्रतिसाद वेळ (एकूण) 124.05s 13.72s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#121 Gemma 4 26B A4B

none
खर्च
$0.001
वेळ
39.5s
टोकन्स
790 tok

#151 Mercury 2

none
खर्च
$0.002
वेळ
1.8s
टोकन्स
1,514 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 8.3 10.0 75.0% 0 1.28s 852 230 0
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 3.7 7.2 22.2% 1 4.16s 7,736 476 0
Mercury 2 3.4 9.6 0.0% 0 1.03s 7,229 3,088 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 3.0 10.0 0.0% 0 30.53s 13,650 309 0
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 10.0 10.0 100.0% 0 1.70s 8,352 285 0
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 3.6 7.2 22.2% 1 2.49s 903 27 0
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 4.0 10.0 0.0% 0 3.54s 576 85 0
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 6.3 10.0 50.0% 0 690ms 795 75 0
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 6.2 10.0 33.3% 0 744ms 828 114 0
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 10.0 10.0 100.0% 0 57.10s 6,123 210 0
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Gemma 4 26B A4B 3.0 10.0 0.0% 0 778ms 223 13 0
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0

झटपट तुलना

तुलना जोडी बदला