Ember-1 (max) vs Qwen3.7 Flash (medium)

موازنہ کیے گئے ماڈلز

تجویز کردہ ماڈل Qwen3.7 Flash (medium)

Its score stays close to the best score here (6.6 vs 6.7), while costing about 43.0x less than Ember-1 (max).

میٹرک	Ember-1 Ember-1 max اجرا: 2026-09-28	Qwen3.7 Flash Qwen3.7 Flash medium اجرا: 2026-07-28

میٹرک	Ember-1 Ember-1 max اجرا: 2026-09-28	Qwen3.7 Flash Qwen3.7 Flash medium اجرا: 2026-07-28
اسکور	6.7	6.6
درجہ	#181	#187
اعتماد پذیری	8.3	10.0
تسلسل	7.8	7.3
کوششیں	69/69	69/69
درست ٹیسٹس
فی کوشش کامیابی کی شرح	59.4%	62.3%
غیر مستحکم ٹیسٹ	6	8
کل رنز	69	69
فی نتیجہ لاگت	29.671	0.760
کل لاگت	$3.264	$0.076
ان پٹ قیمت	$3.000 / 1M	$0.030 / 1M
آؤٹ پٹ قیمت	$15.000 / 1M	$0.130 / 1M
کل ان پٹ ٹوکنز	153,399	300,394
آؤٹ پٹ ٹوکنز	7,803	14,081
ریزننگ ٹوکنز	179,098	500,844
ردِعمل کا وقت (اوسط)	97.34s	51.80s
ردِعمل کا وقت (زیادہ سے زیادہ)	587.08s	593.64s
ردِعمل کا وقت (کل)	2238.73s	1191.42s
پیرامیٹرز	~2.8T کل (~104B فعال)	~35B کل (~3B فعال)
دستیابی	بند ماخذ	بند ماخذ

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

medium

Reached the allocated time limit (600 seconds) without receiving showcase output.

زمرہ:

خودمختار ایجنٹ کے کام	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	10.0	10.0	100.0%	0		62.53s	126,950	3,620	2,475
Qwen3.7 Flash	5.2	3.2	33.3%	1		148.99s	185,917	1,295	43,554

اینٹی اے آئی چالیں	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Qwen3.7 Flash	10.0	10.0	100.0%	0		9.56s	672	525	12,844

کوڈنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Qwen3.7 Flash	6.2	6.9	55.6%	1		46.78s	7,893	563	61,902

مشترکہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Qwen3.7 Flash	6.4	5.8	66.7%	1		314.17s	87,042	10,432	296,919

ڈیٹا پارسنگ اور استخراج	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Qwen3.7 Flash	10.0	10.0	100.0%	0		15.42s	7,782	270	11,588

ڈومین مخصوص	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Qwen3.7 Flash	2.9	7.2	11.1%	1		38.02s	780	59	38,977

عمومی ذہانت	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Qwen3.7 Flash	5.5	10.0	0.0%	0		10.18s	516	143	3,647

ہدایات کی پیروی	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Qwen3.7 Flash	5.8	2.7	66.7%	2		9.27s	699	100	7,457

پہیلی حل کرنا	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Qwen3.7 Flash	7.1	5.1	77.8%	2		8.30s	696	355	9,138

ٹول کالنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Qwen3.7 Flash	10.0	10.0	100.0%	0		7.80s	8,193	309	2,171

معلومات عامہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Qwen3.7 Flash	3.0	10.0	0.0%	0		29.17s	204	30	12,647

موازنہ کی جوڑی تبدیل کریں