नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Nemotron 3 Ultra 550b A55b

सारांश

Nemotron 3 Ultra 550b A55b (medium) average score मध्ये पुढे आहे: 8.1 vs 7.7. Nemotron 3 Ultra 550b A55b (medium) चा benchmark खर्च कमी आहे: $0.158 vs $0.246. KAT-Coder-Pro V2.5 (high) वेगवान आहे: 12.30s vs 15.05s, pass rates 63.5% vs 69.8%.

शिफारस केलेले मॉडेलNemotron 3 Ultra 550b A55b (medium)It has the best score here (8.1), while costing about 1.6x less than KAT-Coder-Pro V2.5 (high).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14 Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium प्रकाशन: 2026-06-04 मोफत उपलब्ध
स्कोअर 7.7 8.1
क्रमांक #53 #31
विश्वसनीयता 10.0 9.7
सुसंगतता 8.1 8.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 63.5% 69.8%
अस्थिर चाचण्या 5 3
एकूण रन 63 63
प्रति निकाल खर्च 2.228 0.000
एकूण खर्च $0.246 $0.158
इनपुट किंमत $0.740 / 1M $0.500 / 1M
आउटपुट किंमत $2.960 / 1M $2.200 / 1M
एकूण इनपुट टोकन्स 42,750 46,813
आउटपुट टोकन्स 2,509 18,002
रिझनिंग टोकन्स 69,594 53,091
प्रतिसाद वेळ (सरासरी) 12.30s 15.05s
प्रतिसाद वेळ (कमाल) 95.65s 43.93s
प्रतिसाद वेळ (एकूण) 258.34s 316.09s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 KAT-Coder-Pro V2.5

high
खर्च
$0.009
वेळ
26.4s
टोकन्स
3,117 tok

#31 Nemotron 3 Ultra 550b A55b

medium
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
KAT-Coder-Pro V2.5 6.4 7.9 44.4% 1 22.00s 7,893 422 20,461
Nemotron 3 Ultra 550b A55b 8.4 7.4 88.9% 1 26.53s 7,686 2,854 17,725

झटपट तुलना

तुलना जोडी बदला