AI BENCHY Compare

Google: Gemini 3.1 Flash Lite Preview vs Google: Gemma 4 31B

Ringkasan

Perbandingan benchmark Gemini 3.1 Flash Lite Preview vs Gemma 4 31B: Gemini 3.1 Flash Lite Preview unggul dalam skor rata-rata dengan 6.4 vs 6.1. Gemma 4 31B memiliki biaya benchmark lebih rendah di $0.004 vs $0.018. Gemini 3.1 Flash Lite Preview lebih cepat di 1.21s vs 4.05s, dengan tingkat keberhasilan 60.3% vs 47.6%.

Model yang direkomendasikan: Gemma 4 31B - Its score stays close to the best score here (6.1 vs 6.4), while costing about 5.9x less than Gemini 3.1 Flash Lite Preview.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-18

Metrik	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview none Rilis: 2026-03-03	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02 Tersedia gratis

Metrik	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview none Rilis: 2026-03-03	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02 Tersedia gratis
Skor	6.4	6.1
Peringkat	#84	#98
Keandalan	10.0	10.0
Konsistensi	9.7	10.0
Tes benar
Tingkat lulus per percobaan	60.3%	47.6%
Tes tidak stabil	1	0
Total Run	63	63
Biaya per hasil	0.148	0.034
Total Biaya	$0.018	$0.004
Harga input	$0.250 / 1M	$0.120 / 1M
Harga output	$1.500 / 1M	$0.350 / 1M
Total token input	37,582	20,911
Token output	5,547	1,407
Token penalaran	0	0
Waktu respons (rata-rata)	1.21s	4.05s
Waktu respons (maks)	3.39s	26.13s
Waktu respons (total)	25.45s	76.87s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#84 Gemini 3.1 Flash Lite Preview

none

Biaya: $0.003
Waktu: 4.7s
Token: 1,827 tok

#98 Gemma 4 31B

none

Biaya: $0.001
Waktu: 12.8s
Token: 795 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	7.5	8.4	66.7%	1		1.04s	504	1,092	0
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	852	45	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	5.5	10.0	33.3%	0		967ms	8,128	670	0
Gemma 4 31B	5.5	10.0	33.3%	0		11.19s	8,381	735	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	0		3.20s	13,026	339	0
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		1.22s	7,550	399	0
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	8,352	285	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	5.3	10.0	33.3%	0		942ms	641	568	0
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	903	27	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	4.0	10.0	0.0%	0		741ms	488	69	0
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	576	117	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		1.13s	623	574	0
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	795	78	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		900ms	570	1,045	0
Gemma 4 31B	6.5	10.0	33.3%	0		4.23s	828	108	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0		3.39s	5,894	782	0
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	0		814ms	158	9	0
Gemma 4 31B	3.0	10.0	0.0%	0		1.25s	224	12	0

Perbandingan Cepat

Ganti Pasangan Perbandingan