Ember-1 (high) vs Inkling (low)

Model yang Dibandingkan

Model yang direkomendasikan Inkling (low)

Its score stays close to the best score here (6.8 vs 6.9), while costing about 7.9x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Inkling Inkling low Rilis: 2026-07-18 Tersedia gratis

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Inkling Inkling low Rilis: 2026-07-18 Tersedia gratis
Skor	6.9	6.8
Peringkat	#163	#170
Keandalan	8.6	10.0
Konsistensi	7.2	8.6
Percobaan	69/69	69/69
Tes benar
Tingkat lulus per percobaan	71.0%	56.5%
Tes tidak stabil	8	4
Total Run	69	69
Biaya per hasil	20.041	2.756
Total Biaya	$2.405	$0.304
Harga input	$3.000 / 1M	$1.000 / 1M
Harga output	$15.000 / 1M	$4.050 / 1M
Total token input	195,489	213,901
Token output	12,475	9,623
Token penalaran	108,748	12,414
Waktu respons (rata-rata)	58.14s	6.81s
Waktu respons (maks)	255.06s	44.24s
Waktu respons (total)	1337.19s	156.70s
Parameter	~2.8T total (~104B aktif)	975B total (41B aktif)
Ketersediaan	Tertutup	Sumber terbuka

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

low

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.1	3.1	66.7%	1		88.31s	146,912	5,130	5,968
Inkling	10.0	10.0	100.0%	0		44.24s	104,008	1,043	2,090

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
Inkling	8.3	10.0	75.0%	0		2.51s	702	172	1,024

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
Inkling	5.1	7.2	22.2%	1		8.71s	7,374	355	4,961

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
Inkling	2.9	5.8	16.7%	1		22.73s	85,854	6,920	1,367

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
Inkling	10.0	10.0	100.0%	0		2.07s	7,068	216	344

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
Inkling	5.3	10.0	33.3%	0		1.68s	804	67	485

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
Inkling	10.0	10.0	100.0%	0		3.44s	501	160	213

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
Inkling	9.8	10.0	100.0%	0		1.81s	708	93	379

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
Inkling	6.4	5.0	66.7%	2		2.97s	714	347	908

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
Inkling	3.0	10.0	0.0%	0		2.57s	5,949	219	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
Inkling	3.0	10.0	0.0%	0		3.12s	219	31	643

Ganti Pasangan Perbandingan