نیویگیشن
Advertise here

Mercury 2.5 (low) vs KAT Coder AIR V2.5 (high)

KAT Coder AIR V2.5 (high) average score میں آگے ہے: 5.2 vs 5.1. Mercury 2.5 (low) کی benchmark لاگت کم ہے: $0.020 vs $0.077. Mercury 2.5 (low) تیز ہے: 3.34s vs 15.23s، pass rates 37.7% vs 40.6%.

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-10-01

موازنہ کیے گئے ماڈلز

درجہ
#293
کل آؤٹ پٹ ٹوکنز
40,302
ردِعمل کا وقت (اوسط)
3.34s
کل لاگت
$0.020
درجہ
#288
کل آؤٹ پٹ ٹوکنز
114,654
ردِعمل کا وقت (اوسط)
15.23s
کل لاگت
$0.077
تجویز کردہ ماڈل Mercury 2.5 (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 4.0x less than KAT Coder AIR V2.5 (high).

تفصیلی موازنہ

میٹرک Mercury 2.5 Mercury 2.5 low اجرا: 2026-09-08 KAT Coder AIR V2.5 KAT Coder AIR V2.5 high اجرا: 2026-07-14
اسکور 5.1 5.2
درجہ #293 #288
اعتماد پذیری 9.8 9.8
تسلسل 8.2 8.2
کوششیں 69/69 69/69
درست ٹیسٹس
فی کوشش کامیابی کی شرح 37.7% 40.6%
غیر مستحکم ٹیسٹ 5 5
کل رنز 69 69
فی نتیجہ لاگت 0.319 1.091
کل لاگت $0.020 $0.077
ان پٹ قیمت $0.040 / 1M $0.000 / 1M
آؤٹ پٹ قیمت $0.150 / 1M $0.000 / 1M
کل ان پٹ ٹوکنز 326,083 50,423
آؤٹ پٹ ٹوکنز 7,224 4,144
ریزننگ ٹوکنز 33,078 110,510
ردِعمل کا وقت (اوسط) 3.34s 15.23s
ردِعمل کا وقت (زیادہ سے زیادہ) 47.06s 118.35s
ردِعمل کا وقت (کل) 76.80s 350.26s
پیرامیٹرز ~100B ~35B کل (~3B فعال)
دستیابی بند ماخذ بند ماخذ

ماڈل جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#293 Mercury 2.5

low
لاگت
$0.001
وقت
2.4s
ٹوکنز
1,236 tok

#288 KAT Coder AIR V2.5

high
Reached the allocated time limit (300 seconds) without receiving showcase output.
لاگت
$0.000
وقت
300.0s
ٹوکنز
0 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

کوڈنگ اسکور تسلسل فی کوشش کامیابی کی شرح غیر مستحکم ٹیسٹ درست ٹیسٹس ردِعمل کا وقت (اوسط) ان پٹ ٹوکنز آؤٹ پٹ ٹوکنز ریزننگ ٹوکنز
Mercury 2.5 5.5 10.0 33.3% 0 972ms 7,909 521 2,269
KAT Coder AIR V2.5 4.3 7.3 11.1% 1 39.07s 6,948 1,166 55,883

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں