नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.7 Flash

सारांश

Step 3.7 Flash (low) average score में आगे है: 7.7 vs 7.5. KAT-Coder-Pro V2.5 (medium) की benchmark लागत कम है: $0.275 vs $0.341. KAT-Coder-Pro V2.5 (medium) तेज है: 12.95s vs 15.74s, pass rates 65.1% vs 68.3%.

अनुशंसित मॉडलKAT-Coder-Pro V2.5 (medium)It offers the best overall trade-off: a competitive score (7.5), lower cost than Step 3.7 Flash (low), and balanced response time.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium रिलीज़: 2026-07-14 Step 3.7 Flash Step 3.7 Flash low रिलीज़: 2026-05-29
स्कोर 7.5 7.7
रैंक #60 #51
विश्वसनीयता 10.0 10.0
संगति 7.7 8.4
सही परीक्षण
प्रति प्रयास पास दर 65.1% 68.3%
अस्थिर टेस्ट 6 4
कुल रन 63 63
प्रति परिणाम लागत 2.498 2.840
कुल लागत $0.275 $0.341
इनपुट कीमत $0.740 / 1M $0.200 / 1M
आउटपुट कीमत $2.960 / 1M $1.150 / 1M
कुल इनपुट टोकन 42,750 40,101
आउटपुट टोकन 2,098 289,325
रीजनिंग टोकन 80,027 0
प्रतिक्रिया समय (औसत) 12.95s 15.74s
प्रतिक्रिया समय (अधिकतम) 81.45s 124.75s
प्रतिक्रिया समय (कुल) 271.92s 330.63s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 KAT-Coder-Pro V2.5

medium
लागत
$0.009
समय
25.6s
टोकन
2,939 tok

#51 Step 3.7 Flash

low
अमान्य SVG
लागत
$0.004
समय
25.3s
टोकन
3,072 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0

त्वरित तुलना

तुलना जोड़ी बदलें