KAT-Coder-Pro V2.5 vs Inkling Small (medium)

KAT-Coder-Pro V2.5 average score मध्ये पुढे आहे: 6.1 vs 6.0. Inkling Small (medium) चा benchmark खर्च कमी आहे: $0.118 vs $0.487. Inkling Small (medium) वेगवान आहे: 6.03s vs 24.96s, pass rates 68.1% vs 50.7%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #236
एकूण आउटपुट टोकन्स: 139,572
प्रतिसाद वेळ (सरासरी): 24.96s
एकूण खर्च: $0.487

क्रमांक: #240
एकूण आउटपुट टोकन्स: 56,269
प्रतिसाद वेळ (सरासरी): 6.03s
एकूण खर्च: $0.118

शिफारस केलेले मॉडेल Inkling Small (medium)

Its score stays close to the best score here (6.0 vs 6.1), while costing about 4.1x less than KAT-Coder-Pro V2.5.

तपशीलवार तुलना

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none प्रकाशन: 2026-07-14	Inkling Small Inkling Small medium प्रकाशन: 2026-08-01 मोफत उपलब्ध

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none प्रकाशन: 2026-07-14	Inkling Small Inkling Small medium प्रकाशन: 2026-08-01 मोफत उपलब्ध
स्कोअर	6.1	6.0
क्रमांक	#236	#240
विश्वसनीयता	10.0	10.0
सुसंगतता	7.1	9.1
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	68.1%	50.7%
अस्थिर चाचण्या	8	3
एकूण रन	69	69
प्रति निकाल खर्च	4.419	1.177
एकूण खर्च	$0.487	$0.118
इनपुट किंमत	$0.740 / 1M	$0.450 / 1M
आउटपुट किंमत	$2.960 / 1M	$1.200 / 1M
एकूण इनपुट टोकन्स	98,508	100,255
आउटपुट टोकन्स	139,572	6,422
रिझनिंग टोकन्स	0	49,847
प्रतिसाद वेळ (सरासरी)	24.96s	6.03s
प्रतिसाद वेळ (कमाल)	335.41s	17.26s
प्रतिसाद वेळ (एकूण)	574.12s	138.65s
पॅरामीटर्स	~700B एकूण (~72B सक्रिय)	276B एकूण (12B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#236 KAT-Coder-Pro V2.5

none

खर्च: $0.010
वेळ: 29.0s
टोकन्स: 3,439 tok

#240 Thinking Machines: Inkling Small

medium

खर्च: $0.003
वेळ: 13.4s
टोकन्स: 1,753 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.90s	0	0	0
Inkling Small	3.0	10.0	0.0%	0		49ms	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Inkling Small	10.0	10.0	100.0%	0		4.09s	702	401	5,846

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Inkling Small	7.8	10.0	66.7%	0		10.49s	7,374	434	13,783

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	77,889	0
Inkling Small	3.8	5.8	33.3%	1		8.89s	76,198	4,299	1,761

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Inkling Small	10.0	10.0	100.0%	0		3.95s	7,068	216	2,123

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		24.90s	780	24,683	0
Inkling Small	3.0	10.0	0.0%	0		7.65s	804	69	9,365

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Inkling Small	5.3	10.0	0.0%	0		2.58s	501	169	921

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Inkling Small	8.5	6.8	83.3%	1		3.78s	708	93	2,477

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Inkling Small	5.8	7.7	44.4%	1		5.24s	714	469	6,498

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Inkling Small	3.0	10.0	0.0%	0		2.12s	5,967	240	207

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Inkling Small	3.0	10.0	0.0%	0		14.19s	219	32	6,866

झटपट तुलना

तुलना जोडी बदला