KAT-Coder-Pro V2.5 (high) vs Step 3.7 Flash (low)

KAT-Coder-Pro V2.5 (high) average score मध्ये पुढे आहे: 7.2 vs 7.1. Step 3.7 Flash (low) चा benchmark खर्च कमी आहे: $0.390 vs $0.506. Step 3.7 Flash (low) वेगवान आहे: 17.87s vs 22.11s, pass rates 63.6% vs 63.6%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-08-26

क्रमांक: #108
एकूण आउटपुट टोकन्स: 144,359
प्रतिसाद वेळ (सरासरी): 22.11s
एकूण खर्च: $0.506

क्रमांक: #115
एकूण आउटपुट टोकन्स: 320,393
प्रतिसाद वेळ (सरासरी): 17.87s
एकूण खर्च: $0.390

शिफारस केलेले मॉडेल Step 3.7 Flash (low)

It offers the best overall trade-off: a competitive score (7.1), lower cost than KAT-Coder-Pro V2.5 (high), and balanced response time.

तपशीलवार तुलना

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14	Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high प्रकाशन: 2026-07-14	Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29
स्कोअर	7.2	7.1
क्रमांक	#108	#115
विश्वसनीयता	10.0	10.0
सुसंगतता	7.8	8.1
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	63.6%	63.6%
अस्थिर चाचण्या	6	5
एकूण रन	66	66
प्रति निकाल खर्च	4.599	3.539
एकूण खर्च	$0.506	$0.390
इनपुट किंमत	$0.740 / 1M	$0.200 / 1M
आउटपुट किंमत	$2.960 / 1M	$1.150 / 1M
एकूण इनपुट टोकन्स	106,085	103,842
आउटपुट टोकन्स	9,071	320,393
रिझनिंग टोकन्स	135,288	0
प्रतिसाद वेळ (सरासरी)	22.11s	17.87s
प्रतिसाद वेळ (कमाल)	199.97s	124.75s
प्रतिसाद वेळ (एकूण)	486.31s	393.04s
पॅरामीटर्स	~700B एकूण (~72B सक्रिय)	198B एकूण (11B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#108 KAT-Coder-Pro V2.5

high

खर्च: $0.009
वेळ: 26.4s
टोकन्स: 3,117 tok

#115 Step 3.7 Flash

low

अवैध SVG

खर्च: $0.004
वेळ: 25.3s
टोकन्स: 3,072 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	7.3	5.8	83.3%	1		106.70s	78,458	6,956	60,306
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		44.66s	780	33	43,896
Step 3.7 Flash	2.9	7.2	11.1%	1		22.65s	837	48,299	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

झटपट तुलना

तुलना जोडी बदला