नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.7 Flash

सारांश

average score जवळपास समान आहे: 7.7 vs 7.7. KAT-Coder-Pro V2.5 (high) चा benchmark खर्च कमी आहे: $0.246 vs $0.341. KAT-Coder-Pro V2.5 (high) वेगवान आहे: 12.30s vs 15.74s, pass rates 63.5% vs 68.3%.

शिफारस केलेले मॉडेलKAT-Coder-Pro V2.5 (high)It has the strongest score in this comparison (7.7) and the best overall balance of cost and response time across all 2 models.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14 Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29
स्कोअर 7.7 7.7
क्रमांक #53 #51
विश्वसनीयता 10.0 10.0
सुसंगतता 8.1 8.4
बरोबर चाचण्या
प्रति प्रयत्न पास दर 63.5% 68.3%
अस्थिर चाचण्या 5 4
एकूण रन 63 63
प्रति निकाल खर्च 2.228 2.840
एकूण खर्च $0.246 $0.341
इनपुट किंमत $0.740 / 1M $0.200 / 1M
आउटपुट किंमत $2.960 / 1M $1.150 / 1M
एकूण इनपुट टोकन्स 42,750 40,101
आउटपुट टोकन्स 2,509 289,325
रिझनिंग टोकन्स 69,594 0
प्रतिसाद वेळ (सरासरी) 12.30s 15.74s
प्रतिसाद वेळ (कमाल) 95.65s 124.75s
प्रतिसाद वेळ (एकूण) 258.34s 330.63s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 KAT-Coder-Pro V2.5

high
खर्च
$0.009
वेळ
26.4s
टोकन्स
3,117 tok

#51 Step 3.7 Flash

low
अवैध SVG
खर्च
$0.004
वेळ
25.3s
टोकन्स
3,072 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
KAT-Coder-Pro V2.5 6.4 7.9 44.4% 1 22.00s 7,893 422 20,461
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0

झटपट तुलना

तुलना जोडी बदला