AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.7 Flash

خلاصہ

Claude Sonnet 4.6 average score میں آگے ہے: 7.3 vs 7.3. Step 3.7 Flash (low) کی benchmark لاگت کم ہے: $0.454 vs $0.661. Claude Sonnet 4.6 تیز ہے: 8.12s vs 20.68s، pass rates 57.6% vs 68.2%.

تجویز کردہ ماڈلClaude Sonnet 4.6It has the best score here (7.3), while responding about 2.5x faster than Step 3.7 Flash (low).

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-07-17

میٹرک	Claude Sonnet 4.6 Claude Sonnet 4.6 none اجرا: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low اجرا: 2026-05-29

میٹرک	Claude Sonnet 4.6 Claude Sonnet 4.6 none اجرا: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low اجرا: 2026-05-29
اسکور	7.3	7.3
درجہ	#60	#64
اعتماد پذیری	10.0	10.0
تسلسل	9.7	8.1
درست ٹیسٹس
فی کوشش کامیابی کی شرح	57.6%	68.2%
غیر مستحکم ٹیسٹ	1	5
کل رنز	66	66
فی نتیجہ لاگت	5.502	3.782
کل لاگت	$0.661	$0.454
ان پٹ قیمت	$3.000 / 1M	$0.200 / 1M
آؤٹ پٹ قیمت	$15.000 / 1M	$1.150 / 1M
کل ان پٹ ٹوکنز	123,264	103,833
آؤٹ پٹ ٹوکنز	19,362	376,581
ریزننگ ٹوکنز	0	0
ردِعمل کا وقت (اوسط)	8.12s	20.68s
ردِعمل کا وقت (زیادہ سے زیادہ)	51.18s	124.75s
ردِعمل کا وقت (کل)	121.78s	455.01s

جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 Claude Sonnet 4.6

none

لاگت: $0.038
وقت: 27.3s
ٹوکنز: 2,598 tok

#64 Step 3.7 Flash

low

غلط SVG

لاگت: $0.004
وقت: 25.3s
ٹوکنز: 3,072 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

زمرہ:

اینٹی اے آئی چالیں	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

کوڈنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

مشترکہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	9.8	10.0	100.0%	0		37.51s	91,402	13,663	0
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

ڈیٹا پارسنگ اور استخراج	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

ڈومین مخصوص	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

عمومی ذہانت	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

ہدایات کی پیروی	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

پہیلی حل کرنا	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

ٹول کالنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

معلومات عامہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں

Claude Opus 4.8nonevsStep 3.7 Flashlow Kimi K2.6mediumvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsKAT-Coder-Pro V2.5low KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsGemini 3.1 Flash Lite Previewmedium Claude Sonnet 4.6nonevsGemini 3 Flash Previewlow Claude Sonnet 4.6nonevsGemini 3.1 Flash Litemedium Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Qwen3.7 PlusnonevsStep 3.7 Flashlow Claude Sonnet 4.6nonevsQwen3.5-27Bmedium