Claude Sonnet 5.5 (medium) vs Beam 1.0 501B A23B (medium)

average score जवळपास समान आहे: 6.5 vs 6.6. Beam 1.0 501B A23B (medium) चा benchmark खर्च कमी आहे: $0.499 vs $1.100. Beam 1.0 501B A23B (medium) वेगवान आहे: 6.27s vs 8.03s, pass rates 40.6% vs 65.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-17

तुलना केलेली मॉडेल्स

क्रमांक: #222
एकूण आउटपुट टोकन्स: 37,748
प्रतिसाद वेळ (सरासरी): 8.03s
एकूण खर्च: $1.100

क्रमांक: #220
एकूण आउटपुट टोकन्स: 98,521
प्रतिसाद वेळ (सरासरी): 6.27s
एकूण खर्च: $0.499

शिफारस केलेले मॉडेल Beam 1.0 501B A23B (medium)

It has the best score here (6.6), while costing about 2.2x less than Claude Sonnet 5.5 (medium).

तपशीलवार तुलना

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17
स्कोअर	6.5	6.6
क्रमांक	#222	#220
विश्वसनीयता	10.0	10.0
सुसंगतता	9.7	9.3
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	40.6%	65.2%
अस्थिर चाचण्या	1	2
एकूण रन	69	69
प्रति निकाल खर्च	12.221	3.561
एकूण खर्च	$1.100	$0.499
इनपुट किंमत	$2.000 / 1M	$1.000 / 1M
आउटपुट किंमत	$10.000 / 1M	$3.000 / 1M
कॅश वाचण्याची किंमत	$0.200 / 1M	$0.100 / 1M
कॅश लिहिण्याची किंमत	$2.500 / 1M	लागू नाही
एकूण इनपुट टोकन्स	361,183	202,937
आउटपुट टोकन्स	26,609	4,328
रिझनिंग टोकन्स	11,139	94,193
प्रतिसाद वेळ (सरासरी)	8.03s	6.27s
प्रतिसाद वेळ (कमाल)	51.18s	31.55s
प्रतिसाद वेळ (एकूण)	184.80s	144.28s
पॅरामीटर्स	~1T एकूण (~100B सक्रिय)	501B एकूण (23B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#222 Claude Sonnet 5.5

medium

खर्च: $0.024
वेळ: 17.4s
टोकन्स: 2,525 tok

#220 Beam 1.0 501B A23B

medium

खर्च: $0.005
वेळ: 11.8s
टोकन्स: 4,267 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		51.18s	190,412	3,424	1,344
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.54s	858	1,697	0
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.4	9.7	0.0%	0		6.07s	10,608	6,767	0
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	8.5	10.0	50.0%	0		23.58s	133,232	7,780	5,241
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.56s	10,515	696	0
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.78s	990	4,137	2,729
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	5.1	3.4	33.3%	1		2.27s	714	324	0
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.88s	921	346	0
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.43s	912	876	0
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.75s	11,757	354	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.57s	264	208	1,825
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

तुलना जोडी बदला