नेव्हिगेशन
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Nemotron 3 Ultra 550b A55b

सारांश

Nemotron 3 Ultra 550b A55b (medium) average score मध्ये पुढे आहे: 8.1 vs 7.5. Nemotron 3 Ultra 550b A55b (medium) चा benchmark खर्च कमी आहे: $0.158 vs $0.275. KAT-Coder-Pro V2.5 (medium) वेगवान आहे: 12.95s vs 15.05s, pass rates 65.1% vs 69.8%.

शिफारस केलेले मॉडेलNemotron 3 Ultra 550b A55b (medium)It has the best score here (8.1), while costing about 1.7x less than KAT-Coder-Pro V2.5 (medium).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14 Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium प्रकाशन: 2026-06-04 मोफत उपलब्ध
स्कोअर 7.5 8.1
क्रमांक #60 #31
विश्वसनीयता 10.0 9.7
सुसंगतता 7.7 8.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 65.1% 69.8%
अस्थिर चाचण्या 6 3
एकूण रन 63 63
प्रति निकाल खर्च 2.498 0.000
एकूण खर्च $0.275 $0.158
इनपुट किंमत $0.740 / 1M $0.500 / 1M
आउटपुट किंमत $2.960 / 1M $2.200 / 1M
एकूण इनपुट टोकन्स 42,750 46,813
आउटपुट टोकन्स 2,098 18,002
रिझनिंग टोकन्स 80,027 53,091
प्रतिसाद वेळ (सरासरी) 12.95s 15.05s
प्रतिसाद वेळ (कमाल) 81.45s 43.93s
प्रतिसाद वेळ (एकूण) 271.92s 316.09s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

#31 Nemotron 3 Ultra 550b A55b

medium
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658
Nemotron 3 Ultra 550b A55b 8.4 7.4 88.9% 1 26.53s 7,686 2,854 17,725

झटपट तुलना

तुलना जोडी बदला