नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Kwaipilot: KAT-Coder-Pro V2.5 vs OpenAI: GPT-5.4

सारांश

GPT-5.4 (medium) average score में आगे है: 8.5 vs 8.0. KAT-Coder-Pro V2.5 (low) की benchmark लागत कम है: $0.220 vs $1.210. KAT-Coder-Pro V2.5 (low) तेज है: 10.44s vs 22.35s, pass rates 71.4% vs 76.2%.

अनुशंसित मॉडलKAT-Coder-Pro V2.5 (low)Its score stays close to the best score here (8.0 vs 8.5), while costing about 5.5x less than GPT-5.4 (medium).

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low रिलीज़: 2026-07-14 GPT-5.4 GPT-5.4 medium रिलीज़: 2026-03-05
स्कोर 8.0 8.5
रैंक #35 #20
विश्वसनीयता 9.9 10.0
संगति 7.3 8.6
सही परीक्षण
प्रति प्रयास पास दर 71.4% 76.2%
अस्थिर टेस्ट 7 4
कुल रन 63 63
प्रति परिणाम लागत 1.991 8.640
कुल लागत $0.220 $1.210
इनपुट कीमत $0.740 / 1M $2.500 / 1M
आउटपुट कीमत $2.960 / 1M $15.000 / 1M
कुल इनपुट टोकन 42,750 34,108
आउटपुट टोकन 2,167 2,242
रीजनिंग टोकन 61,133 72,707
प्रतिक्रिया समय (औसत) 10.44s 22.35s
प्रतिक्रिया समय (अधिकतम) 51.34s 100.41s
प्रतिक्रिया समय (कुल) 219.17s 469.29s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 KAT-Coder-Pro V2.5

low
लागत
$0.016
समय
47.6s
टोकन
5,182 tok

#20 GPT-5.4

medium
लागत
$0.214
समय
199.6s
टोकन
14,349 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 24.87s 7,893 402 24,945
GPT-5.4 8.8 7.8 88.9% 1 44.36s 7,305 433 24,216

त्वरित तुलना

तुलना जोड़ी बदलें