Claude Haiku 5.5 (low) vs KAT-Coder-Pro V2.5 (medium)

Claude Haiku 5.5 (low) average score मध्ये पुढे आहे: 8.6 vs 6.2. Claude Haiku 5.5 (low) चा benchmark खर्च कमी आहे: $0.061 vs $0.669. Claude Haiku 5.5 (low) वेगवान आहे: 7.51s vs 23.94s, pass rates 76.8% vs 62.3%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-12

तुलना केलेली मॉडेल्स

क्रमांक: #64
एकूण आउटपुट टोकन्स: 61,650
प्रतिसाद वेळ (सरासरी): 7.51s
एकूण खर्च: $0.061

क्रमांक: #240
एकूण आउटपुट टोकन्स: 139,375
प्रतिसाद वेळ (सरासरी): 23.94s
एकूण खर्च: $0.669

शिफारस केलेले मॉडेल Claude Haiku 5.5 (low)

It has the best score here (8.6), while costing about 11.1x less than KAT-Coder-Pro V2.5 (medium).

तपशीलवार तुलना

मेट्रिक	Claude Haiku 5.5 Claude Haiku 5.5 low प्रकाशन: 2026-10-07	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14

मेट्रिक	Claude Haiku 5.5 Claude Haiku 5.5 low प्रकाशन: 2026-10-07	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर	8.6	6.2
क्रमांक	#64	#240
विश्वसनीयता	10.0	10.0
सुसंगतता	8.9	7.2
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	76.8%	62.3%
अस्थिर चाचण्या	3	8
एकूण रन	69	69
प्रति निकाल खर्च	0.378	4.342
एकूण खर्च	$0.061	$0.669
इनपुट किंमत	$0.100 / 1M	$0.740 / 1M
आउटपुट किंमत	$0.500 / 1M	$2.960 / 1M
कॅश वाचण्याची किंमत	$0.010 / 1M	$0.150 / 1M
कॅश लिहिण्याची किंमत	$0.125 / 1M	लागू नाही
एकूण इनपुट टोकन्स	296,301	87,916
आउटपुट टोकन्स	10,672	7,213
रिझनिंग टोकन्स	50,978	132,162
प्रतिसाद वेळ (सरासरी)	7.51s	23.94s
प्रतिसाद वेळ (कमाल)	44.43s	257.00s
प्रतिसाद वेळ (एकूण)	172.74s	550.52s
पॅरामीटर्स	~50B	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#64 Claude Haiku 5.5

low

खर्च: $0.001
वेळ: 7.4s
टोकन्स: 1,851 tok

#240 KAT-Coder-Pro V2.5

medium

खर्च: $0.009
वेळ: 25.6s
टोकन्स: 2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	10.0	10.0	100.0%	0		44.43s	153,966	2,991	3,811
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	8.7	7.9	91.7%	1		2.16s	858	483	1,480
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	7.9	7.5	77.8%	1		7.30s	10,608	531	11,618
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	10.0	10.0	100.0%	0		23.94s	104,796	4,741	19,543
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	10.0	10.0	100.0%	0		3.45s	10,515	312	1,609
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	5.9	7.2	55.6%	1		7.35s	990	64	9,207
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	4.6	9.8	0.0%	0		1.38s	714	319	0
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	9.8	10.0	100.0%	0		2.20s	921	94	515
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	7.7	10.0	66.7%	0		2.76s	912	611	1,783
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	10.0	10.0	100.0%	0		4.19s	11,757	354	459
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Haiku 5.5	3.0	10.0	0.0%	0		2.70s	264	172	953
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

तुलना जोडी बदला