Ember-1 (max) vs Qwen3.7 Flash (medium)

तुलना किए गए मॉडल

अनुशंसित मॉडल Qwen3.7 Flash (medium)

Its score stays close to the best score here (6.6 vs 6.7), while costing about 43.0x less than Ember-1 (max).

मेट्रिक	Ember-1 Ember-1 max रिलीज़: 2026-09-28	Qwen3.7 Flash Qwen3.7 Flash medium रिलीज़: 2026-07-28

मेट्रिक	Ember-1 Ember-1 max रिलीज़: 2026-09-28	Qwen3.7 Flash Qwen3.7 Flash medium रिलीज़: 2026-07-28
स्कोर	6.7	6.6
रैंक	#181	#187
विश्वसनीयता	8.3	10.0
संगति	7.8	7.3
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	59.4%	62.3%
अस्थिर टेस्ट	6	8
कुल रन	69	69
प्रति परिणाम लागत	29.671	0.760
कुल लागत	$3.264	$0.076
इनपुट कीमत	$3.000 / 1M	$0.030 / 1M
आउटपुट कीमत	$15.000 / 1M	$0.130 / 1M
कुल इनपुट टोकन	153,399	300,394
आउटपुट टोकन	7,803	14,081
रीजनिंग टोकन	179,098	500,844
प्रतिक्रिया समय (औसत)	97.34s	51.80s
प्रतिक्रिया समय (अधिकतम)	587.08s	593.64s
प्रतिक्रिया समय (कुल)	2238.73s	1191.42s
पैरामीटर	~2.8T कुल (~104B सक्रिय)	~35B कुल (~3B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

medium

Reached the allocated time limit (600 seconds) without receiving showcase output.

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	10.0	10.0	100.0%	0		62.53s	126,950	3,620	2,475
Qwen3.7 Flash	5.2	3.2	33.3%	1		148.99s	185,917	1,295	43,554

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Qwen3.7 Flash	10.0	10.0	100.0%	0		9.56s	672	525	12,844

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Qwen3.7 Flash	6.2	6.9	55.6%	1		46.78s	7,893	563	61,902

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Qwen3.7 Flash	6.4	5.8	66.7%	1		314.17s	87,042	10,432	296,919

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Qwen3.7 Flash	10.0	10.0	100.0%	0		15.42s	7,782	270	11,588

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Qwen3.7 Flash	2.9	7.2	11.1%	1		38.02s	780	59	38,977

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Qwen3.7 Flash	5.5	10.0	0.0%	0		10.18s	516	143	3,647

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Qwen3.7 Flash	5.8	2.7	66.7%	2		9.27s	699	100	7,457

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Qwen3.7 Flash	7.1	5.1	77.8%	2		8.30s	696	355	9,138

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Qwen3.7 Flash	10.0	10.0	100.0%	0		7.80s	8,193	309	2,171

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Qwen3.7 Flash	3.0	10.0	0.0%	0		29.17s	204	30	12,647

तुलना जोड़ी बदलें