Model yang Dibandingkan

Perbandingan benchmark Ember-1 (low) vs Gemini 3 Flash Preview (medium) vs Qwen3.8 Max (0902) (low): Gemini 3 Flash Preview (medium) unggul pada Skor dengan 9.5. Gemini 3 Flash Preview (medium) unggul pada Keandalan dengan 10.0. Ember-1 (low) memiliki Total Biaya terendah di $0.662. Gemini 3 Flash Preview (medium) paling cepat di 19.86s.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-28

Model yang Dibandingkan

Peringkat: #120
Total token output: 37,467
Waktu respons (rata-rata): 30.98s
Total Biaya: $0.662

Peringkat: #11
Total token output: 239,608
Waktu respons (rata-rata): 19.86s
Total Biaya: $0.763

Peringkat: #27
Total token output: 75,865
Waktu respons (rata-rata): 24.21s
Total Biaya: $0.664

Model yang direkomendasikan Gemini 3 Flash Preview (medium)

It has the strongest score in this comparison (9.5) and the best overall balance of cost and response time across all 3 models.

Perbandingan terperinci

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Gemini 3 Flash Preview Gemini 3 Flash Preview medium Rilis: 2025-12-17	Qwen3.8 Max (0902) Qwen3.8 Max (0902) low Rilis: 2026-09-07

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Gemini 3 Flash Preview Gemini 3 Flash Preview medium Rilis: 2025-12-17	Qwen3.8 Max (0902) Qwen3.8 Max (0902) low Rilis: 2026-09-07
Skor	7.5	9.5	9.1
Peringkat	#120	#11	#27
Keandalan	8.1	10.0	10.0
Konsistensi	8.5	9.7	9.3
Percobaan	66/66	66/66	66/66
Tes benar
Tingkat lulus per percobaan	66.7%	93.9%	86.4%
Tes tidak stabil	4	1	2
Total Run	66	66	66
Biaya per hasil	5.085	3.814	3.684
Total Biaya	$0.662	$0.763	$0.664
Harga input	$3.000 / 1M	$0.500 / 1M	$2.000 / 1M
Harga output	$15.000 / 1M	$3.000 / 1M	$6.000 / 1M
Total token input	33,011	87,870	103,954
Token output	4,780	5,486	6,322
Token penalaran	32,687	234,122	69,543
Waktu respons (rata-rata)	30.98s	19.86s	24.21s
Waktu respons (maks)	93.10s	117.26s	207.79s
Waktu respons (total)	681.50s	436.88s	532.62s
Parameter	~2.8T total (~104B aktif)	~500B total (~20B aktif)	2.4T total (~100B aktif)
Ketersediaan	Tertutup	Tertutup	Tertutup

Showcase generasi model

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#120 Ember-1

low

Biaya: $0.016
Waktu: 24.2s
Token: 1,165 tok

#11 Gemini 3 Flash Preview

medium

Biaya: $0.010
Waktu: 18.4s
Token: 3,351 tok

#27 Qwen3.8 Max (0902)

low

Biaya: $0.014
Waktu: 41.2s
Token: 2,421 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1	22.18s	1,402	571	613
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	3.88s	494	330	3,216
Qwen3.8 Max (0902)	10.0	10.0	100.0%	0	4.72s	984	212	1,854

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0	37.91s	8,097	2,518	13,142
Gemini 3 Flash Preview	8.6	7.6	88.9%	1	84.40s	8,122	462	161,084
Qwen3.8 Max (0902)	10.0	10.0	100.0%	0	37.42s	8,127	485	17,404

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	51.45s	12,828	381	689
Gemini 3 Flash Preview	10.0	10.0	100.0%	26.75s	63,717	3,831	23,496
Qwen3.8 Max (0902)	10.0	10.0	100.0%	113.88s	74,767	4,562	29,335

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1	34.82s	6,076	223	778
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	5.43s	7,548	279	4,893
Qwen3.8 Max (0902)	10.0	10.0	100.0%	0	9.94s	7,938	261	2,254

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1	56.17s	1,154	234	12,476
Gemini 3 Flash Preview	7.7	10.0	66.7%	0	20.09s	642	12	28,642
Qwen3.8 Max (0902)	5.3	7.2	44.4%	1	34.93s	1,014	45	13,881

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0	5.67s	744	139	462
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	5.19s	486	72	1,905
Qwen3.8 Max (0902)	6.1	3.1	66.7%	1	8.91s	594	120	820

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1	32.73s	781	121	466
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	4.04s	615	72	2,709
Qwen3.8 Max (0902)	10.0	10.0	100.0%	0	4.32s	855	90	866

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	3.27s	1,452	393	595
Gemini 3 Flash Preview	10.0	10.0	100.0%	4.05s	558	183	4,365
Qwen3.8 Max (0902)	10.0	10.0	100.0%	4.49s	930	275	1,248

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	26.43s	0	0	0
Gemini 3 Flash Preview	10.0	10.0	100.0%	12.60s	5,532	234	1,487
Qwen3.8 Max (0902)	10.0	10.0	100.0%	4.73s	8,463	249	126

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	30.60s	477	200	3,466
Gemini 3 Flash Preview	10.0	10.0	100.0%	5.50s	156	11	2,325
Qwen3.8 Max (0902)	3.0	10.0	0.0%	13.28s	282	23	1,755

Perbandingan Cepat

Ganti Pasangan Perbandingan

Ember-1lowvsMiniMax M3medium Ember-1lowvsGrok 4.7high Gemini 3.8 FlashmediumvsQwen3.8 Max (0902)low Ember-1lowvsGPT 5.3 Chatnone Ember-1lowvsQwen3.5 Plus 2026-02-15medium Gemini 3 Flash PreviewmediumvsGPT-6 Astralow Ember-1lowvsQwen3.5-27Bmedium Ember-1lowvsMercury 2.5 Previewmedium Ember-1lowvsGPT-5.4 Minimedium Ember-1lowvsGrok Build 0.1medium Ember-1lowvsGPT-5.4 Nanomedium Ember-1lowvsGemini 3.1 Flash Lite Previewmedium