AI BENCHY Compare

Google: Gemma 4 31B vs OpenAI: GPT-5 Nano

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-04

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02 Tersedia gratis	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02 Tersedia gratis	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07
Skor	6.5	6.3
Peringkat	#85	#94
Keandalan	10.0	10.0
Konsistensi	10.0	7.3
Tes benar
Tingkat lulus per percobaan	47.6%	57.1%
Tes tidak stabil	0	7
Total Run	63	63
Biaya per hasil	0.034	0.897
Total Biaya	$0.004	$0.081
Harga input	$0.120 / 1M	$0.050 / 1M
Harga output	$0.370 / 1M	$0.400 / 1M
Total token input	20,911	34,108
Token output	1,407	5,464
Token penalaran	0	192,064
Waktu respons (rata-rata)	4.05s	42.51s
Waktu respons (maks)	26.13s	204.02s
Waktu respons (total)	76.87s	595.09s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	852	45	0
GPT-5 Nano	6.5	7.9	58.3%	1		25.50s	606	1,221	21,184

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	5.5	10.0	33.3%	0		11.19s	8,381	735	0
GPT-5 Nano	7.0	7.7	55.6%	1		41.62s	7,305	740	41,152

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
GPT-5 Nano	10.0	10.0	100.0%	0		65.96s	11,019	578	17,984

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	8,352	285	0
GPT-5 Nano	3.7	1.7	50.0%	2		21.42s	7,140	453	10,560

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	903	27	0
GPT-5 Nano	5.2	4.4	55.6%	2		204.02s	619	237	64,448

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	576	117	0
GPT-5 Nano	4.1	10.0	0.0%	0		17.51s	477	202	4,608

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	795	78	0
GPT-5 Nano	9.8	10.0	100.0%	0		15.64s	660	312	4,736

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	33.3%	0		4.23s	828	108	0
GPT-5 Nano	5.3	7.2	44.4%	1		20.63s	642	929	14,272

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
GPT-5 Nano	10.0	10.0	100.0%	0		33.30s	5,445	558	6,976

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		1.25s	224	12	0
GPT-5 Nano	3.0	10.0	0.0%	0		20.13s	195	234	6,144

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-5 NanomediumvsQwen3.5 Plus 2026-02-15none Ring-2.6-1TnonevsGPT-5 Nanomedium Gemini 2.5 FlashnonevsGPT-5 Nanomedium Gemini 3.1 Flash LitenonevsGPT-5 Nanomedium Gemma 4 31BnoneTersedia gratisvsMercury 2medium GPT-5 NanomediumvsQwen3.7 Plusnone Gemini 3.1 Flash LiteminimalvsGPT-5 Nanomedium GPT-5 NanomediumvsGLM 5none Gemma 4 31BnoneTersedia gratisvsMimo V2 Omnimedium Gemma 4 31BnoneTersedia gratisvsQwen3.6 27Bmedium GPT-5 NanomediumvsMimo V2 Omninone Gemma 4 31BnoneTersedia gratisvsKimi K2.5medium