KAT-Coder-Pro V2.5 (default) vs Step 5 Preview (medium)

average score जवळपास समान आहे: 6.1 vs 6.1. KAT-Coder-Pro V2.5 (default) चा benchmark खर्च कमी आहे: $0.742 vs $4.136. KAT-Coder-Pro V2.5 (default) वेगवान आहे: 24.96s vs 136.10s, pass rates 68.1% vs 53.6%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-09

तुलना केलेली मॉडेल्स

क्रमांक: #252
एकूण आउटपुट टोकन्स: 139,572
प्रतिसाद वेळ (सरासरी): 24.96s
एकूण खर्च: $0.742

क्रमांक: #250
एकूण आउटपुट टोकन्स: 1,434,621
प्रतिसाद वेळ (सरासरी): 136.10s
एकूण खर्च: $4.136

शिफारस केलेले मॉडेल KAT-Coder-Pro V2.5 (default)

It has the best score here (6.1), while costing about 5.6x less than Step 5 Preview (medium).

तपशीलवार तुलना

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 default प्रकाशन: 2026-07-14	Step 5 Preview Step 5 Preview medium प्रकाशन: 2026-10-09

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 default प्रकाशन: 2026-07-14	Step 5 Preview Step 5 Preview medium प्रकाशन: 2026-10-09
स्कोअर	6.1	6.1
क्रमांक	#252	#250
विश्वसनीयता	10.0	9.6
सुसंगतता	7.1	8.2
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	68.1%	53.6%
अस्थिर चाचण्या	8	5
एकूण रन	69	69
प्रति निकाल खर्च	4.419	41.354
एकूण खर्च	$0.742	$4.136
इनपुट किंमत	$0.740 / 1M	$1.000 / 1M
आउटपुट किंमत	$2.960 / 1M	$2.700 / 1M
कॅश वाचण्याची किंमत	$0.150 / 1M	$0.050 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	98,508	261,842
आउटपुट टोकन्स	8,088	1,434,621
रिझनिंग टोकन्स	131,484	0
प्रतिसाद वेळ (सरासरी)	24.96s	136.10s
प्रतिसाद वेळ (कमाल)	335.41s	438.09s
प्रतिसाद वेळ (एकूण)	574.12s	3130.27s
पॅरामीटर्स	~700B एकूण (~72B सक्रिय)	600B एकूण (27B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#252 KAT-Coder-Pro V2.5

default

खर्च: $0.010
वेळ: 29.0s
टोकन्स: 3,439 tok

#250 Step 5 Preview

medium

खर्च: $0.042
वेळ: 90.3s
टोकन्स: 15,574 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.90s	0	0	0
Step 5 Preview	6.1	3.1	66.7%	1		95.77s	178,249	27,809	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	222	3,776
Step 5 Preview	6.4	7.9	58.3%	1		12.58s	744	6,953	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	451	21,989
Step 5 Preview	2.8	7.2	11.1%	1		363.90s	7,428	546,725	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	6,356	71,533
Step 5 Preview	7.3	5.8	83.3%	1		124.99s	57,016	115,099	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	288	2,073
Step 5 Preview	10.0	10.0	100.0%	0		4.10s	7,392	2,053	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		24.90s	780	34	24,649
Step 5 Preview	2.9	7.2	11.1%	1		323.23s	828	458,050	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	111	956
Step 5 Preview	3.4	9.3	0.0%	0		34.82s	522	4,371	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	84	1,000
Step 5 Preview	10.0	10.0	100.0%	0		4.23s	729	3,330	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	256	1,673
Step 5 Preview	7.8	10.0	66.7%	0		59.88s	747	77,779	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	268	835
Step 5 Preview	10.0	10.0	100.0%	0		3.84s	7,953	452	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	18	3,000
Step 5 Preview	3.0	10.0	0.0%	0		437.86s	234	192,000	0

तुलना जोडी बदला

Qwen3.5 Plus 2026-04-20nonevsStep 5 Previewmedium Step 5 PreviewmediumvsInklingnoneमोफत उपलब्ध Apodex 1.1 Minilowमोफत उपलब्धvsStep 5 Previewmedium Granite 4.2 8BmediumvsKAT-Coder-Pro V2.5default Apodex 1.1 Minimediumमोफत उपलब्धvsKAT-Coder-Pro V2.5default KAT-Coder-Pro V2.5defaultvsQwen3.5 Plus 2026-04-20none KAT-Coder-Pro V2.5defaultvsInklingnoneमोफत उपलब्ध Apodex 1.1 Minilowमोफत उपलब्धvsKAT-Coder-Pro V2.5default Trinity Large ThinkingmediumvsKAT-Coder-Pro V2.5default Gemini 3.5 FlashnonevsStep 5 Previewmedium Gemini 3.5 FlashnonevsKAT-Coder-Pro V2.5default KAT-Coder-Pro V2.5defaultvsGLM 5.3 FlashXlow