Claude Sonnet 5.5 (low) vs Ember-1 (high)

Model yang Dibandingkan

Model yang direkomendasikan Claude Sonnet 5.5 (low)

It has the best score here (6.9), while costing about 2.6x less than Ember-1 (high).

Metrik	Claude Sonnet 5.5 Claude Sonnet 5.5 low Rilis: 2026-09-29	Ember-1 Ember-1 high Rilis: 2026-09-28

Metrik	Claude Sonnet 5.5 Claude Sonnet 5.5 low Rilis: 2026-09-29	Ember-1 Ember-1 high Rilis: 2026-09-28
Skor	6.9	6.9
Peringkat	#166	#163
Keandalan	10.0	8.6
Konsistensi	9.4	7.2
Percobaan	69/69	69/69
Tes benar
Tingkat lulus per percobaan	46.4%	71.0%
Tes tidak stabil	2	8
Total Run	69	69
Biaya per hasil	9.082	20.041
Total Biaya	$0.909	$2.405
Harga input	$2.000 / 1M	$3.000 / 1M
Harga output	$10.000 / 1M	$15.000 / 1M
Total token input	291,853	195,489
Token output	24,116	12,475
Token penalaran	8,327	108,748
Waktu respons (rata-rata)	7.46s	58.14s
Waktu respons (maks)	46.61s	255.06s
Waktu respons (total)	171.47s	1337.19s
Parameter	~1T total (~100B aktif)	~2.8T total (~104B aktif)
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

high

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	10.0	10.0	100.0%	0		46.61s	125,435	2,660	1,153
Ember-1	6.1	3.1	66.7%	1		88.31s	146,912	5,130	5,968

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.55s	858	1,736	0
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	3.2	9.7	0.0%	0		5.81s	10,608	5,903	0
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	7.9	6.9	66.7%	1		22.50s	128,879	7,220	4,027
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	10.0	10.0	100.0%	0		2.31s	10,515	312	0
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.09s	990	3,974	2,570
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	4.8	3.2	33.3%	1		2.33s	714	374	0
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.91s	921	357	0
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.50s	912	892	0
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.67s	11,757	354	0
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 5.5	3.0	10.0	0.0%	0		4.97s	264	334	577
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335

Ganti Pasangan Perbandingan