Ember-1 (max) vs LongCat 2.0 (low)

Model yang Dibandingkan

Model yang direkomendasikan LongCat 2.0 (low)

Its score stays close to the best score here (6.6 vs 6.7), while costing about 6.6x less than Ember-1 (max).

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	LongCat 2.0 LongCat 2.0 low Rilis: 2026-07-20

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

low

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		62.53s	126,950	3,620	2,475
LongCat 2.0	6.1	3.1	66.7%	1		145.65s	171,517	1,668	23,963

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
LongCat 2.0	10.0	10.0	100.0%	0		9.04s	588	225	4,303

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
LongCat 2.0	6.6	4.6	77.8%	2		479.30s	6,544	461	206,627

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
LongCat 2.0	10.0	10.0	100.0%	0		130.21s	66,883	3,905	37,643

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
LongCat 2.0	6.3	10.0	50.0%	0		10.77s	7,653	198	2,498

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
LongCat 2.0	2.9	7.2	11.1%	1		183.63s	457	139	46,116

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
LongCat 2.0	3.4	2.2	33.3%	1		22.45s	480	116	2,364

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
LongCat 2.0	6.5	10.0	50.0%	0		6.39s	657	78	1,604

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
LongCat 2.0	3.1	10.0	0.0%	0		8.15s	636	289	2,561

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
LongCat 2.0	10.0	10.0	100.0%	0		10.81s	6,840	249	398

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
LongCat 2.0	3.0	10.0	0.0%	0		122.07s	132	16	10,804

Ganti Pasangan Perbandingan