KAT-Coder-Pro V2.5 (low) vs Beam 1.0 501B A23B (medium)

average score जवळपास समान आहे: 6.5 vs 6.6. Beam 1.0 501B A23B (medium) चा benchmark खर्च कमी आहे: $0.499 vs $0.568. Beam 1.0 501B A23B (medium) वेगवान आहे: 6.27s vs 19.40s, pass rates 65.2% vs 65.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-17

तुलना केलेली मॉडेल्स

क्रमांक: #221
एकूण आउटपुट टोकन्स: 113,193
प्रतिसाद वेळ (सरासरी): 19.40s
एकूण खर्च: $0.568

क्रमांक: #220
एकूण आउटपुट टोकन्स: 98,521
प्रतिसाद वेळ (सरासरी): 6.27s
एकूण खर्च: $0.499

शिफारस केलेले मॉडेल Beam 1.0 501B A23B (medium)

It has the best score here (6.6), while responding about 3.1x faster than KAT-Coder-Pro V2.5 (low).

तपशीलवार तुलना

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low प्रकाशन: 2026-07-14	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low प्रकाशन: 2026-07-14	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17
स्कोअर	6.5	6.6
क्रमांक	#221	#220
विश्वसनीयता	10.0	10.0
सुसंगतता	7.1	9.3
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	65.2%	65.2%
अस्थिर चाचण्या	8	2
एकूण रन	69	69
प्रति निकाल खर्च	3.636	3.561
एकूण खर्च	$0.568	$0.499
इनपुट किंमत	$0.740 / 1M	$1.000 / 1M
आउटपुट किंमत	$2.960 / 1M	$3.000 / 1M
कॅश वाचण्याची किंमत	$0.150 / 1M	$0.100 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	87,682	202,937
आउटपुट टोकन्स	7,166	4,328
रिझनिंग टोकन्स	106,027	94,193
प्रतिसाद वेळ (सरासरी)	19.40s	6.27s
प्रतिसाद वेळ (कमाल)	209.15s	31.55s
प्रतिसाद वेळ (एकूण)	446.11s	144.28s
पॅरामीटर्स	~700B एकूण (~72B सक्रिय)	501B एकूण (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#221 KAT-Coder-Pro V2.5

low

खर्च: $0.016
वेळ: 47.6s
टोकन्स: 5,182 tok

#220 Beam 1.0 501B A23B

medium

खर्च: $0.005
वेळ: 11.8s
टोकन्स: 4,267 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.75s	0	0	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.9	5.8	75.0%	2		4.20s	672	277	4,228
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		24.87s	7,893	402	24,945
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		111.87s	60,055	5,393	43,732
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.19s	7,776	288	1,917
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.5	4.4	33.3%	2		22.86s	780	35	21,430
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	4.1	2.7	33.3%	1		2.32s	516	99	412
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		2.53s	699	83	1,008
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	6.4	4.4	77.8%	2		3.11s	696	289	1,820
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		18.45s	8,391	282	834
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		17.06s	204	18	5,701
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

तुलना जोडी बदला