AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

خلاصہ

average score تقریباً برابر ہے: 7.3 vs 7.3. Step 3.7 Flash (low) کی benchmark لاگت کم ہے: $0.454 vs $1.166. Claude Opus 4.8 تیز ہے: 4.91s vs 20.68s، pass rates 63.6% vs 68.2%.

تجویز کردہ ماڈلClaude Opus 4.8It has the best score here (7.3), while responding about 4.2x faster than Step 3.7 Flash (low).

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-07-17

میٹرک	Claude Opus 4.8 Claude Opus 4.8 none اجرا: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low اجرا: 2026-05-29

میٹرک	Claude Opus 4.8 Claude Opus 4.8 none اجرا: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low اجرا: 2026-05-29
اسکور	7.3	7.3
درجہ	#63	#64
اعتماد پذیری	10.0	10.0
تسلسل	9.2	8.1
درست ٹیسٹس
فی کوشش کامیابی کی شرح	63.6%	68.2%
غیر مستحکم ٹیسٹ	2	5
کل رنز	66	66
فی نتیجہ لاگت	8.969	3.782
کل لاگت	$1.166	$0.454
ان پٹ قیمت	$5.000 / 1M	$0.200 / 1M
آؤٹ پٹ قیمت	$25.000 / 1M	$1.150 / 1M
کل ان پٹ ٹوکنز	149,206	103,833
آؤٹ پٹ ٹوکنز	16,797	376,581
ریزننگ ٹوکنز	0	0
ردِعمل کا وقت (اوسط)	4.91s	20.68s
ردِعمل کا وقت (زیادہ سے زیادہ)	35.03s	124.75s
ردِعمل کا وقت (کل)	108.03s	455.01s

جنریشن شوکیس

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#63 Claude Opus 4.8

none

لاگت: $0.053
وقت: 22.0s
ٹوکنز: 2,253 tok

#64 Step 3.7 Flash

low

غلط SVG

لاگت: $0.004
وقت: 25.3s
ٹوکنز: 3,072 tok

اسکور کے لحاظ سے سرفہرست ماڈلز

اسکور بمقابلہ کل لاگت

ردِعمل کا وقت (اوسط)

اسکور vs ردِعمل کا وقت (اوسط)

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

زمرہ وار تفصیل

زمرہ:

اینٹی اے آئی چالیں	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

کوڈنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

مشترکہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	9.8	10.0	100.0%	0		26.38s	111,760	11,949	0
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

ڈیٹا پارسنگ اور استخراج	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

ڈومین مخصوص	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	5.3	7.2	44.4%	1		1.70s	975	61	0
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

عمومی ذہانت	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

ہدایات کی پیروی	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

پہیلی حل کرنا	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

ٹول کالنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

معلومات عامہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

فوری موازنہ

موازنہ کی جوڑی تبدیل کریں

Kimi K2.6mediumvsStep 3.7 Flashlow KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Claude Opus 4.8nonevsKimi K2.6medium Claude Opus 4.8nonevsGemini 3.1 Flash Litemedium Claude Opus 4.8nonevsKAT-Coder-Pro V2.5high Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Claude Opus 4.8nonevsGemini 3.1 Flash Lite Previewmedium Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Claude Opus 4.8nonevsQwen3.5 Plus 2026-04-20medium Claude Sonnet 4.6nonevsStep 3.7 Flashlow Qwen3.7 PlusnonevsStep 3.7 Flashlow