Claude Sonnet 5.5 (medium) vs KAT-Coder-Pro V2.5 (high)

Claude Sonnet 5.5 (medium) average score में आगे है: 6.5 vs 6.5. KAT-Coder-Pro V2.5 (high) की benchmark लागत कम है: $0.506 vs $1.100. Claude Sonnet 5.5 (medium) तेज है: 8.03s vs 21.21s, pass rates 40.6% vs 60.9%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-01

तुलना किए गए मॉडल

रैंक: #192
कुल आउटपुट टोकन: 37,748
प्रतिक्रिया समय (औसत): 8.03s
कुल लागत: $1.100

रैंक: #198
कुल आउटपुट टोकन: 144,359
प्रतिक्रिया समय (औसत): 21.21s
कुल लागत: $0.506

अनुशंसित मॉडल Claude Sonnet 5.5 (medium)

It has the best score here (6.5), while responding about 2.6x faster than KAT-Coder-Pro V2.5 (high).

विस्तृत तुलना

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium रिलीज़: 2026-09-29	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high रिलीज़: 2026-07-14

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium रिलीज़: 2026-09-29	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high रिलीज़: 2026-07-14
स्कोर	6.5	6.5
रैंक	#192	#198
विश्वसनीयता	10.0	10.0
संगति	9.7	7.9
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	40.6%	60.9%
अस्थिर टेस्ट	1	6
कुल रन	69	69
प्रति परिणाम लागत	12.221	4.599
कुल लागत	$1.100	$0.506
इनपुट कीमत	$2.000 / 1M	$0.740 / 1M
आउटपुट कीमत	$10.000 / 1M	$2.960 / 1M
कुल इनपुट टोकन	361,183	106,085
आउटपुट टोकन	26,609	9,071
रीजनिंग टोकन	11,139	135,288
प्रतिक्रिया समय (औसत)	8.03s	21.21s
प्रतिक्रिया समय (अधिकतम)	51.18s	199.97s
प्रतिक्रिया समय (कुल)	184.80s	487.83s
पैरामीटर	~1T कुल (~100B सक्रिय)	~700B कुल (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#192 Claude Sonnet 5.5

medium

लागत: $0.024
समय: 17.4s
टोकन: 2,525 tok

#198 KAT-Coder-Pro V2.5

high

लागत: $0.009
समय: 26.4s
टोकन: 3,117 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	10.0	10.0	100.0%	0		51.18s	190,412	3,424	1,344
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.52s	0	0	0

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.54s	858	1,697	0
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	3.4	9.7	0.0%	0		6.07s	10,608	6,767	0
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	8.5	10.0	50.0%	0		23.58s	133,232	7,780	5,241
KAT-Coder-Pro V2.5	7.3	5.8	83.3%	1		106.70s	78,458	6,956	60,306

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.56s	10,515	696	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.78s	990	4,137	2,729
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		44.66s	780	33	43,896

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	5.1	3.4	33.3%	1		2.27s	714	324	0
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.88s	921	346	0
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.43s	912	876	0
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.75s	11,757	354	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.57s	264	208	1,825
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494

त्वरित तुलना

तुलना जोड़ी बदलें