Ember-1 (low) vs Qwen3.5-122B-A10B (medium)

Model yang Dibandingkan

Model yang direkomendasikan Ember-1 (low)

It has the best score here (7.0), while responding about 1.9x faster than Qwen3.5-122B-A10B (medium).

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Qwen3.5-122B-A10B Qwen3.5-122B-A10B medium Rilis: 2026-02-24

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Qwen3.5-122B-A10B Qwen3.5-122B-A10B medium Rilis: 2026-02-24
Skor	7.0	7.0
Peringkat	#157	#158
Keandalan	8.8	10.0
Konsistensi	8.2	8.3
Percobaan	69/69	69/69
Tes benar
Tingkat lulus per percobaan	65.2%	71.0%
Tes tidak stabil	5	5
Total Run	69	69
Biaya per hasil	11.441	9.196
Total Biaya	$1.488	$1.152
Harga input	$3.000 / 1M	$0.260 / 1M
Harga output	$15.000 / 1M	$2.080 / 1M
Total token input	211,908	251,695
Token output	14,158	49,415
Token penalaran	42,608	472,775
Waktu respons (rata-rata)	34.90s	66.96s
Waktu respons (maks)	121.29s	519.30s
Waktu respons (total)	802.79s	1539.99s
Parameter	~2.8T total (~104B aktif)	122B total (10B aktif)
Ketersediaan	Tertutup	Sumber terbuka

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

medium

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	4.7	3.1	33.3%	1		121.29s	178,897	9,378	9,921
Qwen3.5-122B-A10B	6.1	3.1	66.7%	1		95.31s	126,915	1,721	32,950

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
Qwen3.5-122B-A10B	10.0	10.0	100.0%	0		9.75s	672	269	16,835

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
Qwen3.5-122B-A10B	6.0	7.2	55.6%	1		114.48s	7,630	8,057	82,578

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
Qwen3.5-122B-A10B	6.4	5.8	66.7%	1		313.55s	97,886	18,373	203,450

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
Qwen3.5-122B-A10B	10.0	10.0	100.0%	0		23.41s	7,782	270	16,558

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
Qwen3.5-122B-A10B	2.9	7.2	11.1%	1		74.43s	780	19,154	61,573

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
Qwen3.5-122B-A10B	3.4	2.2	33.3%	1		34.11s	344	66	7,592

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
Qwen3.5-122B-A10B	10.0	10.0	100.0%	0		9.88s	593	77	7,372

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
Qwen3.5-122B-A10B	10.0	10.0	100.0%	0		17.89s	696	284	27,575

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
Qwen3.5-122B-A10B	10.0	10.0	100.0%	0		4.60s	8,193	322	1,226

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
Qwen3.5-122B-A10B	3.0	10.0	0.0%	0		52.87s	204	822	15,066

Ganti Pasangan Perbandingan