Beam 1.0 501B A23B (medium) vs Step 3.7 Flash (high)

average score जवळपास समान आहे: 6.6 vs 6.6. Beam 1.0 501B A23B (medium) चा benchmark खर्च कमी आहे: $0.499 vs $1.478. Beam 1.0 501B A23B (medium) वेगवान आहे: 6.27s vs 72.72s, pass rates 65.2% vs 58.0%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-17

तुलना केलेली मॉडेल्स

क्रमांक: #220
एकूण आउटपुट टोकन्स: 98,521
प्रतिसाद वेळ (सरासरी): 6.27s
एकूण खर्च: $0.499

क्रमांक: #219
एकूण आउटपुट टोकन्स: 1,100,052
प्रतिसाद वेळ (सरासरी): 72.72s
एकूण खर्च: $1.478

शिफारस केलेले मॉडेल Beam 1.0 501B A23B (medium)

It has the best score here (6.6), while costing about 3.0x less than Step 3.7 Flash (high).

तपशीलवार तुलना

मेट्रिक	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29

मेट्रिक	Beam 1.0 501B A23B Beam 1.0 501B A23B medium प्रकाशन: 2026-10-17	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29
स्कोअर	6.6	6.6
क्रमांक	#220	#219
विश्वसनीयता	10.0	10.0
सुसंगतता	9.3	8.5
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	65.2%	58.0%
अस्थिर चाचण्या	2	4
एकूण रन	69	69
प्रति निकाल खर्च	3.561	12.267
एकूण खर्च	$0.499	$1.478
इनपुट किंमत	$1.000 / 1M	$0.200 / 1M
आउटपुट किंमत	$3.000 / 1M	$1.150 / 1M
कॅश वाचण्याची किंमत	$0.100 / 1M	$0.040 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	202,937	421,200
आउटपुट टोकन्स	4,328	1,100,052
रिझनिंग टोकन्स	94,193	0
प्रतिसाद वेळ (सरासरी)	6.27s	72.72s
प्रतिसाद वेळ (कमाल)	31.55s	364.99s
प्रतिसाद वेळ (एकूण)	144.28s	1672.53s
पॅरामीटर्स	501B एकूण (23B सक्रिय)	198B एकूण (11B सक्रिय)
उपलब्धता	मुक्त स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#220 Beam 1.0 501B A23B

medium

खर्च: $0.005
वेळ: 11.8s
टोकन्स: 4,267 tok

#219 Step 3.7 Flash

high

खर्च: $0.007
वेळ: 63.6s
टोकन्स: 6,030 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026
Step 3.7 Flash	5.4	9.6	0.0%	0		130.38s	322,500	49,152	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077
Step 3.7 Flash	3.6	7.2	22.2%	1		189.35s	792	429,007	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

तुलना जोडी बदला

Mercury 2mediumvsStep 3.7 Flashhigh KAT-Coder-Pro V2.5lowvsBeam 1.0 501B A23Bmedium KAT-Coder-Pro V2.5lowvsStep 3.7 Flashhigh LongCat 2.0lowvsStep 3.7 Flashhigh LongCat 2.0lowvsBeam 1.0 501B A23Bmedium Qwen3.7 FlashmediumvsStep 3.7 Flashhigh Claude Sonnet 5.5mediumvsStep 3.7 Flashhigh Qwen3.6 35B A3BmediumvsStep 3.7 Flashhigh Mercury 2.5 PreviewhighvsBeam 1.0 501B A23Bmedium Step 3.7 FlashhighvsGLM 5.2none GPT-5.5nonevsStep 3.7 Flashhigh Beam 1.0 501B A23BmediumvsGLM 5.2none