Ember-1 (max) vs Qwen3.5-Flash

Model yang Dibandingkan

Model yang direkomendasikan Qwen3.5-Flash

It has the best score here (6.0), while costing about 38.4x less than Ember-1 (max).

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	Qwen3.5-Flash Qwen3.5-Flash none Rilis: 2026-02-24

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	Qwen3.5-Flash Qwen3.5-Flash none Rilis: 2026-02-24
Skor	5.9	6.0
Peringkat	#248	#243
Keandalan	7.5	10.0
Konsistensi	7.7	9.3
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	57.6%	34.9%
Tes tidak stabil	6	2
Total Run	66	66
Biaya per hasil	27.915	1.066
Total Biaya	$2.792	$0.073
Harga input	$3.000 / 1M	$0.065 / 1M
Harga output	$15.000 / 1M	$0.260 / 1M
Total token input	26,449	282,356
Token output	4,183	209,201
Token penalaran	176,623	0
Waktu respons (rata-rata)	98.92s	25.28s
Waktu respons (maks)	587.08s	480.96s
Waktu respons (total)	2176.20s	556.14s
Parameter	~2.8T total (~104B aktif)	~35B total (~3B aktif)
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

none

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Qwen3.5-Flash	3.5	8.3	8.3%	1		1.32s	696	690	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Qwen3.5-Flash	5.5	10.0	33.3%	0		850ms	7,913	519	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Qwen3.5-Flash	2.9	5.8	16.7%	1		243.59s	254,787	206,719	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Qwen3.5-Flash	10.0	10.0	100.0%	0		1.57s	7,794	243	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Qwen3.5-Flash	5.3	10.0	33.3%	0		873ms	798	15	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Qwen3.5-Flash	10.0	10.0	100.0%	0		803ms	522	100	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Qwen3.5-Flash	6.3	10.0	50.0%	0		8.81s	711	63	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Qwen3.5-Flash	3.1	10.0	0.0%	0		10.89s	714	579	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		3.67s	8,211	264	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Qwen3.5-Flash	3.0	10.0	0.0%	0		588ms	210	9	0

Ganti Pasangan Perbandingan