नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Kwaipilot: KAT-Coder-Pro V2.5 vs Nemotron 3 Ultra 550b A55b

सारांश

Nemotron 3 Ultra 550b A55b (medium) average score में आगे है: 8.1 vs 7.7. Nemotron 3 Ultra 550b A55b (medium) की benchmark लागत कम है: $0.158 vs $0.246. KAT-Coder-Pro V2.5 (high) तेज है: 12.30s vs 15.05s, pass rates 63.5% vs 69.8%.

अनुशंसित मॉडलNemotron 3 Ultra 550b A55b (medium)It has the best score here (8.1), while costing about 1.6x less than KAT-Coder-Pro V2.5 (high).

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high रिलीज़: 2026-07-14 Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium रिलीज़: 2026-06-04 निःशुल्क उपलब्ध
स्कोर 7.7 8.1
रैंक #53 #31
विश्वसनीयता 10.0 9.7
संगति 8.1 8.8
सही परीक्षण
प्रति प्रयास पास दर 63.5% 69.8%
अस्थिर टेस्ट 5 3
कुल रन 63 63
प्रति परिणाम लागत 2.228 0.000
कुल लागत $0.246 $0.158
इनपुट कीमत $0.740 / 1M $0.500 / 1M
आउटपुट कीमत $2.960 / 1M $2.200 / 1M
कुल इनपुट टोकन 42,750 46,813
आउटपुट टोकन 2,509 18,002
रीजनिंग टोकन 69,594 53,091
प्रतिक्रिया समय (औसत) 12.30s 15.05s
प्रतिक्रिया समय (अधिकतम) 95.65s 43.93s
प्रतिक्रिया समय (कुल) 258.34s 316.09s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 KAT-Coder-Pro V2.5

high
लागत
$0.009
समय
26.4s
टोकन
3,117 tok

#31 Nemotron 3 Ultra 550b A55b

medium
अमान्य SVG
लागत
$0.000
समय
300.0s
टोकन
0 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
KAT-Coder-Pro V2.5 6.4 7.9 44.4% 1 22.00s 7,893 422 20,461
Nemotron 3 Ultra 550b A55b 8.4 7.4 88.9% 1 26.53s 7,686 2,854 17,725

त्वरित तुलना

तुलना जोड़ी बदलें