AI BENCHY Compare

Google: Gemma 4 26B A4B vs Qwen: Qwen3.5-27B

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-04

Metrik	Gemma 4 26B A4B Gemma 4 26B A4B medium Rilis: 2026-04-03	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24

Metrik	Gemma 4 26B A4B Gemma 4 26B A4B medium Rilis: 2026-04-03	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24
Skor	8.3	8.3
Peringkat	#13	#14
Konsistensi	8.9	8.7
Tes benar
Tingkat lulus per percobaan	80.4%	80.4%
Tes tidak stabil	2	3
Total Run	51	51
Biaya per hasil	0.189	3.885
Total Biaya	$0.025	$0.467
Harga input	$0.130 / 1M	$0.195 / 1M
Harga output	$0.400 / 1M	$1.560 / 1M
Token output	12,412	2,125
Token penalaran	39,955	223,335
Waktu respons (rata-rata)	17.38s	52.01s
Waktu respons (maks)	73.55s	163.96s
Waktu respons (total)	278.01s	884.10s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	10.0	10.0	100.0%	0		6.20s	1,142	3,045
Qwen3.5-27B	8.7	7.9	91.7%	1		19.75s	569	31,505

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	9.6	10.0	100.0%	0		73.55s	5,415	13,112
Qwen3.5-27B	10.0	10.0	100.0%	0		163.96s	483	9,991

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	10.0	10.0	100.0%	0		16.51s	1,567	2,827
Qwen3.5-27B	10.0	10.0	100.0%	0		30.26s	270	16,150

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	2.9	4.4	22.2%	2		23.62s	2,469	7,105
Qwen3.5-27B	5.3	10.0	33.3%	0		79.53s	43	52,368

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	10.0	10.0	100.0%	0		29.76s	25	5,075
Qwen3.5-27B	6.1	3.1	66.7%	1		101.41s	70	23,147

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	10.0	10.0	100.0%	0		17.54s	887	4,470
Qwen3.5-27B	10.0	10.0	100.0%	0		19.66s	97	11,638

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	7.9	9.6	66.7%	0		8.52s	457	3,065
Qwen3.5-27B	8.2	7.7	77.8%	1		64.61s	245	77,213

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 26B A4B	10.0	10.0	100.0%	0		9.01s	450	1,256
Qwen3.5-27B	10.0	10.0	100.0%	0		7.45s	348	1,323

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemini 3.1 Flash Lite PreviewlowvsQwen3.5-27Bmedium Gemini 3 Flash PreviewnonevsQwen3.5-27Bmedium Gemini 3 Flash PreviewlowvsQwen3.5-27Bmedium Gemini 3.1 Flash Lite PreviewnonevsQwen3.5-27Bmedium GPT-5.2 ChatnonevsQwen3.5-27Bmedium Gemma 4 26B A4BmediumvsGPT-5.2 Chatnone GPT-5.3 ChatnonevsQwen3.5-27Bmedium Gemma 4 26B A4BmediumvsGPT-5.3 Chatnone Claude Sonnet 4.6nonevsQwen3.5-27Bmedium Claude Sonnet 4.6nonevsGemma 4 26B A4Bmedium Gemma 4 26B A4BmediumvsQwen3.5 Plus 2026-02-15none Gemma 4 31BnonevsQwen3.5-27Bmedium