Claude Sonnet 5.5 (medium) vs Step 3.7 Flash (high)

average score जवळपास समान आहे: 6.5 vs 6.6. Claude Sonnet 5.5 (medium) चा benchmark खर्च कमी आहे: $1.100 vs $1.350. Claude Sonnet 5.5 (medium) वेगवान आहे: 8.03s vs 72.72s, pass rates 40.6% vs 58.0%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #192
एकूण आउटपुट टोकन्स: 37,748
प्रतिसाद वेळ (सरासरी): 8.03s
एकूण खर्च: $1.100

क्रमांक: #190
एकूण आउटपुट टोकन्स: 1,100,052
प्रतिसाद वेळ (सरासरी): 72.72s
एकूण खर्च: $1.350

शिफारस केलेले मॉडेल Claude Sonnet 5.5 (medium)

It has the best score here (6.5), while responding about 9.1x faster than Step 3.7 Flash (high).

तपशीलवार तुलना

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 medium प्रकाशन: 2026-09-29	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29
स्कोअर	6.5	6.6
क्रमांक	#192	#190
विश्वसनीयता	10.0	10.0
सुसंगतता	9.7	8.5
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	40.6%	58.0%
अस्थिर चाचण्या	1	4
एकूण रन	69	69
प्रति निकाल खर्च	12.221	12.267
एकूण खर्च	$1.100	$1.350
इनपुट किंमत	$2.000 / 1M	$0.200 / 1M
आउटपुट किंमत	$10.000 / 1M	$1.150 / 1M
एकूण इनपुट टोकन्स	361,183	421,200
आउटपुट टोकन्स	26,609	1,100,052
रिझनिंग टोकन्स	11,139	0
प्रतिसाद वेळ (सरासरी)	8.03s	72.72s
प्रतिसाद वेळ (कमाल)	51.18s	364.99s
प्रतिसाद वेळ (एकूण)	184.80s	1672.53s
पॅरामीटर्स	~1T एकूण (~100B सक्रिय)	198B एकूण (11B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#192 Claude Sonnet 5.5

medium

खर्च: $0.024
वेळ: 17.4s
टोकन्स: 2,525 tok

#190 Step 3.7 Flash

high

खर्च: $0.007
वेळ: 63.6s
टोकन्स: 6,030 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		51.18s	190,412	3,424	1,344
Step 3.7 Flash	5.4	9.6	0.0%	0		130.38s	322,500	49,152	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.54s	858	1,697	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.4	9.7	0.0%	0		6.07s	10,608	6,767	0
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	8.5	10.0	50.0%	0		23.58s	133,232	7,780	5,241
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.56s	10,515	696	0
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.78s	990	4,137	2,729
Step 3.7 Flash	3.6	7.2	22.2%	1		189.35s	792	429,007	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	5.1	3.4	33.3%	1		2.27s	714	324	0
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.88s	921	346	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.43s	912	876	0
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.75s	11,757	354	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.57s	264	208	1,825
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

झटपट तुलना

तुलना जोडी बदला

Mercury 2mediumvsStep 3.7 Flashhigh KAT-Coder-Pro V2.5lowvsStep 3.7 Flashhigh Claude Sonnet 5.5mediumvsMercury 2.5 Previewhigh Claude Sonnet 5.5mediumvsMercury 2.5high LongCat 2.0lowvsStep 3.7 Flashhigh Claude Sonnet 5.5mediumvsKAT-Coder-Pro V2.5low Claude Sonnet 5.5mediumvsGLM 5.3low Qwen3.7 FlashmediumvsStep 3.7 Flashhigh Claude Sonnet 5.5mediumvsGLM 5.1none Claude Sonnet 5.5mediumvsKAT-Coder-Pro V2.5high Qwen3.6 35B A3BmediumvsStep 3.7 Flashhigh Step 3.7 FlashhighvsGLM 5.2none