नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.5 Flash

सारांश

KAT-Coder-Pro V2.5 average score में आगे है: 6.8 vs 6.6. Step 3.5 Flash (medium) की benchmark लागत कम है: $0.070 vs $0.220. KAT-Coder-Pro V2.5 तेज है: 10.81s vs 72.53s, pass rates 71.4% vs 54.0%.

अनुशंसित मॉडलKAT-Coder-Pro V2.5It has the best score here (6.8), while responding about 6.7x faster than Step 3.5 Flash (medium).

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none रिलीज़: 2026-07-14 Step 3.5 Flash Step 3.5 Flash medium रिलीज़: 2026-02-01
स्कोर 6.8 6.6
रैंक #89 #98
विश्वसनीयता 10.0 10.0
संगति 7.3 8.9
सही परीक्षण
प्रति प्रयास पास दर 71.4% 54.0%
अस्थिर टेस्ट 7 1
कुल रन 63 60
प्रति परिणाम लागत 1.992 0.198
कुल लागत $0.220 $0.070
इनपुट कीमत $0.740 / 1M $0.100 / 1M
आउटपुट कीमत $2.960 / 1M $0.300 / 1M
कुल इनपुट टोकन 42,749 34,431
आउटपुट टोकन 63,338 91,587
रीजनिंग टोकन 0 195,973
प्रतिक्रिया समय (औसत) 10.81s 72.53s
प्रतिक्रिया समय (अधिकतम) 53.57s 453.94s
प्रतिक्रिया समय (कुल) 227.02s 1015.47s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none
लागत
$0.010
समय
29.0s
टोकन
3,439 tok

#98 Step 3.5 Flash

medium
लागत
$0.008
समय
277.1s
टोकन
23,695 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
KAT-Coder-Pro V2.5 6.1 4.7 66.7% 2 22.52s 7,893 22,440 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429

त्वरित तुलना

तुलना जोड़ी बदलें