نیویگیشن
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.7 Flash

خلاصہ

Step 3.7 Flash (low) average score میں آگے ہے: 7.7 vs 7.5. KAT-Coder-Pro V2.5 (medium) کی benchmark لاگت کم ہے: $0.275 vs $0.341. KAT-Coder-Pro V2.5 (medium) تیز ہے: 12.95s vs 15.74s، pass rates 65.1% vs 68.3%.

تجویز کردہ ماڈلKAT-Coder-Pro V2.5 (medium)It offers the best overall trade-off: a competitive score (7.5), lower cost than Step 3.7 Flash (low), and balanced response time.

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-07-14

میٹرک KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium اجرا: 2026-07-14 Step 3.7 Flash Step 3.7 Flash low اجرا: 2026-05-29
اسکور 7.5 7.7
درجہ #60 #51
اعتماد پذیری 10.0 10.0
تسلسل 7.7 8.4
درست ٹیسٹس
فی کوشش کامیابی کی شرح 65.1% 68.3%
غیر مستحکم ٹیسٹ 6 4
کل رنز 63 63
فی نتیجہ لاگت 2.498 2.840
کل لاگت $0.275 $0.341
ان پٹ قیمت $0.740 / 1M $0.200 / 1M
آؤٹ پٹ قیمت $2.960 / 1M $1.150 / 1M
کل ان پٹ ٹوکنز 42,750 40,101
آؤٹ پٹ ٹوکنز 2,098 289,325
ریزننگ ٹوکنز 80,027 0
ردِعمل کا وقت (اوسط) 12.95s 15.74s
ردِعمل کا وقت (زیادہ سے زیادہ) 81.45s 124.75s
ردِعمل کا وقت (کل) 271.92s 330.63s

جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 KAT-Coder-Pro V2.5

medium
لاگت
$0.009
وقت
25.6s
ٹوکنز
2,939 tok

#51 Step 3.7 Flash

low
غلط SVG
لاگت
$0.004
وقت
25.3s
ٹوکنز
3,072 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

کوڈنگ اسکور تسلسل فی کوشش کامیابی کی شرح غیر مستحکم ٹیسٹ درست ٹیسٹس ردِعمل کا وقت (اوسط) ان پٹ ٹوکنز آؤٹ پٹ ٹوکنز ریزننگ ٹوکنز
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں