نیویگیشن
Advertise here

Ember-1 vs Mercury 2.5 (low)

Ember-1 average score میں آگے ہے: 5.2 vs 5.1. Mercury 2.5 (low) کی benchmark لاگت کم ہے: $0.011 vs $0.123. Mercury 2.5 (low) تیز ہے: 1.35s vs 19.46s، pass rates 42.4% vs 39.4%.

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-09-28

موازنہ کیے گئے ماڈلز

درجہ
#297
کل آؤٹ پٹ ٹوکنز
2,664
ردِعمل کا وقت (اوسط)
19.46s
کل لاگت
$0.123
درجہ
#304
کل آؤٹ پٹ ٹوکنز
33,719
ردِعمل کا وقت (اوسط)
1.35s
کل لاگت
$0.011
تجویز کردہ ماڈل Mercury 2.5 (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 11.6x less than Ember-1.

تفصیلی موازنہ

میٹرک Ember-1 Ember-1 none اجرا: 2026-09-28 Mercury 2.5 Mercury 2.5 low اجرا: 2026-09-08
اسکور 5.2 5.1
درجہ #297 #304
اعتماد پذیری 8.1 9.8
تسلسل 8.9 8.1
کوششیں 66/66 66/66
درست ٹیسٹس
فی کوشش کامیابی کی شرح 42.4% 39.4%
غیر مستحکم ٹیسٹ 3 5
کل رنز 66 66
فی نتیجہ لاگت 1.528 0.177
کل لاگت $0.123 $0.011
ان پٹ قیمت $3.000 / 1M $0.040 / 1M
آؤٹ پٹ قیمت $15.000 / 1M $0.150 / 1M
کل ان پٹ ٹوکنز 27,426 138,020
آؤٹ پٹ ٹوکنز 2,664 6,083
ریزننگ ٹوکنز 0 27,636
ردِعمل کا وقت (اوسط) 19.46s 1.35s
ردِعمل کا وقت (زیادہ سے زیادہ) 93.12s 7.48s
ردِعمل کا وقت (کل) 428.04s 29.74s
پیرامیٹرز ~2.8T کل (~104B فعال) ~100B
دستیابی بند ماخذ بند ماخذ

ماڈل جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#297 Ember-1

none
لاگت
$0.156
وقت
224.6s
ٹوکنز
10,555 tok

#304 Mercury 2.5

low
لاگت
$0.001
وقت
2.4s
ٹوکنز
1,236 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

کوڈنگ اسکور تسلسل فی کوشش کامیابی کی شرح غیر مستحکم ٹیسٹ درست ٹیسٹس ردِعمل کا وقت (اوسط) ان پٹ ٹوکنز آؤٹ پٹ ٹوکنز ریزننگ ٹوکنز
Ember-1 5.5 10.0 33.3% 0 1.94s 7,485 393 0
Mercury 2.5 5.5 10.0 33.3% 0 972ms 7,909 521 2,269

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں