نیویگیشن
Advertise here

Gemma 4 26B A4B (medium) vs Mercury 2.5 (medium)

average score تقریباً برابر ہے: 6.8 vs 6.8. Mercury 2.5 (medium) کی benchmark لاگت کم ہے: $0.022 vs $0.092. Mercury 2.5 (medium) تیز ہے: 3.19s vs 104.93s، pass rates 69.7% vs 65.2%.

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-09-08

موازنہ کیے گئے ماڈلز

درجہ
#159
کل آؤٹ پٹ ٹوکنز
253,646
ردِعمل کا وقت (اوسط)
104.93s
کل لاگت
$0.092
درجہ
#157
کل آؤٹ پٹ ٹوکنز
120,129
ردِعمل کا وقت (اوسط)
3.19s
کل لاگت
$0.022
تجویز کردہ ماڈل Mercury 2.5 (medium)

It has the best score here (6.8), while costing about 4.2x less than Gemma 4 26B A4B (medium).

تفصیلی موازنہ

میٹرک Gemma 4 26B A4B Gemma 4 26B A4B medium اجرا: 2026-04-03 مفت دستیاب Mercury 2.5 Mercury 2.5 medium اجرا: 2026-09-08
اسکور 6.8 6.8
درجہ #159 #157
اعتماد پذیری 10.0 9.8
تسلسل 9.6 8.6
کوششیں 66/66 66/66
درست ٹیسٹس
فی کوشش کامیابی کی شرح 69.7% 65.2%
غیر مستحکم ٹیسٹ 1 4
کل رنز 66 66
فی نتیجہ لاگت 0.623 0.181
کل لاگت $0.092 $0.022
ان پٹ قیمت $0.070 / 1M $0.040 / 1M
آؤٹ پٹ قیمت $0.340 / 1M $0.150 / 1M
کل ان پٹ ٹوکنز 77,528 91,402
آؤٹ پٹ ٹوکنز 26,048 3,138
ریزننگ ٹوکنز 227,598 116,991
ردِعمل کا وقت (اوسط) 104.93s 3.19s
ردِعمل کا وقت (زیادہ سے زیادہ) 912.19s 9.87s
ردِعمل کا وقت (کل) 2203.52s 70.18s
پیرامیٹرز 25.2B کل (3.8B فعال) ~100B
دستیابی کھلا ماخذ بند ماخذ

ماڈل جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#159 Gemma 4 26B A4B

medium
Reached the allocated time limit (300 seconds) without receiving showcase output.
لاگت
$0.000
وقت
300.0s
ٹوکنز
0 tok

#157 Mercury 2.5

medium
لاگت
$0.001
وقت
3.8s
ٹوکنز
3,386 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

کوڈنگ اسکور تسلسل فی کوشش کامیابی کی شرح غیر مستحکم ٹیسٹ درست ٹیسٹس ردِعمل کا وقت (اوسط) ان پٹ ٹوکنز آؤٹ پٹ ٹوکنز ریزننگ ٹوکنز
Gemma 4 26B A4B 2.9 10.0 0.0% 0 272.54s 5,062 14,838 44,567
Mercury 2.5 5.0 5.1 44.5% 2 3.70s 7,807 488 21,857

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں