नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

KAT-Coder-Pro V2.5 (medium) average score मध्ये पुढे आहे: 7.5 vs 7.3. KAT-Coder-Pro V2.5 (medium) चा benchmark खर्च कमी आहे: $0.275 vs $0.316. Claude Sonnet 4.6 वेगवान आहे: 5.04s vs 12.95s, pass rates 55.6% vs 65.1%.

शिफारस केलेले मॉडेलClaude Sonnet 4.6Its score stays close to the best score here (7.3 vs 7.5), while responding about 2.6x faster than KAT-Coder-Pro V2.5 (medium).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक Claude Sonnet 4.6 Claude Sonnet 4.6 none प्रकाशन: 2026-02-17 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर 7.3 7.5
क्रमांक #71 #60
विश्वसनीयता 10.0 10.0
सुसंगतता 9.7 7.7
बरोबर चाचण्या
प्रति प्रयत्न पास दर 55.6% 65.1%
अस्थिर चाचण्या 1 6
एकूण रन 63 63
प्रति निकाल खर्च 2.870 2.498
एकूण खर्च $0.316 $0.275
इनपुट किंमत $3.000 / 1M $0.740 / 1M
आउटपुट किंमत $15.000 / 1M $2.960 / 1M
एकूण इनपुट टोकन्स 57,886 42,750
आउटपुट टोकन्स 9,465 2,098
रिझनिंग टोकन्स 0 80,027
प्रतिसाद वेळ (सरासरी) 5.04s 12.95s
प्रतिसाद वेळ (कमाल) 23.84s 81.45s
प्रतिसाद वेळ (एकूण) 70.60s 271.92s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#71 Claude Sonnet 4.6

none
खर्च
$0.038
वेळ
27.3s
टोकन्स
2,598 tok

#60 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 5.5 10.0 33.3% 0 5.19s 8,522 2,127 0
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658

झटपट तुलना

तुलना जोडी बदला