नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs OpenAI: GPT-5.4 Nano

सारांश

KAT-Coder-Pro V2.5 (high) average score मध्ये पुढे आहे: 7.7 vs 7.5. GPT-5.4 Nano (medium) चा benchmark खर्च कमी आहे: $0.107 vs $0.246. GPT-5.4 Nano (medium) वेगवान आहे: 11.95s vs 12.30s, pass rates 63.5% vs 63.5%.

शिफारस केलेले मॉडेलGPT-5.4 Nano (medium)Its score stays close to the best score here (7.5 vs 7.7), while costing about 2.3x less than KAT-Coder-Pro V2.5 (high).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14 GPT-5.4 Nano GPT-5.4 Nano medium प्रकाशन: 2026-03-17
स्कोअर 7.7 7.5
क्रमांक #53 #62
विश्वसनीयता 10.0 10.0
सुसंगतता 8.1 8.4
बरोबर चाचण्या
प्रति प्रयत्न पास दर 63.5% 63.5%
अस्थिर चाचण्या 5 4
एकूण रन 63 63
प्रति निकाल खर्च 2.228 0.969
एकूण खर्च $0.246 $0.107
इनपुट किंमत $0.740 / 1M $0.200 / 1M
आउटपुट किंमत $2.960 / 1M $1.250 / 1M
एकूण इनपुट टोकन्स 42,750 35,434
आउटपुट टोकन्स 2,509 3,014
रिझनिंग टोकन्स 69,594 76,520
प्रतिसाद वेळ (सरासरी) 12.30s 11.95s
प्रतिसाद वेळ (कमाल) 95.65s 94.06s
प्रतिसाद वेळ (एकूण) 258.34s 250.98s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 KAT-Coder-Pro V2.5

high
खर्च
$0.009
वेळ
26.4s
टोकन्स
3,117 tok

#62 GPT-5.4 Nano

medium
खर्च
$0.007
वेळ
24.6s
टोकन्स
4,943 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
KAT-Coder-Pro V2.5 6.4 7.9 44.4% 1 22.00s 7,893 422 20,461
GPT-5.4 Nano 6.1 4.7 66.7% 2 19.12s 7,305 516 20,778

झटपट तुलना

तुलना जोडी बदला