Claude Sonnet 5.5 (medium) vs KAT-Coder-Pro V2.5 (high)

Claude Sonnet 5.5 (medium) average score मध्ये पुढे आहे: 6.5 vs 6.5. KAT-Coder-Pro V2.5 (high) चा benchmark खर्च कमी आहे: $0.506 vs $1.100. Claude Sonnet 5.5 (medium) वेगवान आहे: 8.03s vs 21.21s, pass rates 40.6% vs 60.9%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #192
एकूण आउटपुट टोकन्स: 37,748
प्रतिसाद वेळ (सरासरी): 8.03s
एकूण खर्च: $1.100

क्रमांक: #198
एकूण आउटपुट टोकन्स: 144,359
प्रतिसाद वेळ (सरासरी): 21.21s
एकूण खर्च: $0.506

शिफारस केलेले मॉडेल Claude Sonnet 5.5 (medium)

It has the best score here (6.5), while responding about 2.6x faster than KAT-Coder-Pro V2.5 (high).

तपशीलवार तुलना

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14
स्कोअर	6.5	6.5
क्रमांक	#192	#198
विश्वसनीयता	10.0	10.0
सुसंगतता	9.7	7.9
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	40.6%	60.9%
अस्थिर चाचण्या	1	6
एकूण रन	69	69
प्रति निकाल खर्च	12.221	4.599
एकूण खर्च	$1.100	$0.506
इनपुट किंमत	$2.000 / 1M	$0.740 / 1M
आउटपुट किंमत	$10.000 / 1M	$2.960 / 1M
एकूण इनपुट टोकन्स	361,183	106,085
आउटपुट टोकन्स	26,609	9,071
रिझनिंग टोकन्स	11,139	135,288
प्रतिसाद वेळ (सरासरी)	8.03s	21.21s
प्रतिसाद वेळ (कमाल)	51.18s	199.97s
प्रतिसाद वेळ (एकूण)	184.80s	487.83s
पॅरामीटर्स	~1T एकूण (~100B सक्रिय)	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#192 Claude Sonnet 5.5

medium

खर्च: $0.024
वेळ: 17.4s
टोकन्स: 2,525 tok

#198 KAT-Coder-Pro V2.5

high

खर्च: $0.009
वेळ: 26.4s
टोकन्स: 3,117 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		51.18s	190,412	3,424	1,344
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.52s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.54s	858	1,697	0
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.4	9.7	0.0%	0		6.07s	10,608	6,767	0
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	8.5	10.0	50.0%	0		23.58s	133,232	7,780	5,241
KAT-Coder-Pro V2.5	7.3	5.8	83.3%	1		106.70s	78,458	6,956	60,306

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.56s	10,515	696	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.78s	990	4,137	2,729
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		44.66s	780	33	43,896

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	5.1	3.4	33.3%	1		2.27s	714	324	0
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.88s	921	346	0
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.43s	912	876	0
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.75s	11,757	354	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.57s	264	208	1,825
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494

झटपट तुलना

तुलना जोडी बदला