AI BENCHY Compare

Google: Gemma 4 31B vs OpenAI: GPT-5 Nano

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-02

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07
Skor	6.7	6.2
Peringkat	#47	#52
Konsistensi	10.0	6.7
Tes benar
Tingkat lulus per percobaan	52.9%	58.8%
Tes tidak stabil	0	7
Total Run	51	51
Biaya per hasil	0.023	0.864
Total Biaya	$0.002	$0.061
Harga input	$0.140 / 1M	$0.050 / 1M
Harga output	$0.400 / 1M	$0.400 / 1M
Token output	660	4,500
Token penalaran	0	143,296
Waktu respons (rata-rata)	2.55s	44.47s
Waktu respons (maks)	4.68s	204.02s
Waktu respons (total)	38.20s	444.74s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	45	0
GPT-5 Nano	6.5	7.9	58.3%	1		25.50s	1,221	21,184

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5 Nano	10.0	10.0	100.0%	0		65.96s	578	17,984

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	285	0
GPT-5 Nano	3.7	1.7	50.0%	2		21.42s	453	10,560

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	27	0
GPT-5 Nano	5.2	4.4	55.6%	2		204.02s	237	64,448

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	117	0
GPT-5 Nano	4.1	10.0	0.0%	0		17.51s	202	4,608

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	78	0
GPT-5 Nano	8.5	6.8	83.3%	1		11.90s	382	4,096

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	5.5	10.0	33.3%	0		2.95s	108	0
GPT-5 Nano	5.3	7.2	44.4%	1		19.81s	869	13,440

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5 Nano	10.0	10.0	100.0%	0		33.30s	558	6,976

Perbandingan Cepat

Ganti Pasangan Perbandingan

DeepSeek V3.2nonevsGPT-5 Nanomedium Gemma 4 31BnonevsGPT-5 Minimedium GPT-5 NanomediumvsMiMo-V2-Omninone Gemma 4 31BnonevsNemotron 3 SupermediumTersedia gratis GPT-5 NanomediumvsQwen3.5-Flashnone Gemma 4 31BnonevsGrok 4.1 Fastmedium Gemma 4 31BnonevsHunter Alphamedium GPT-5 NanomediumvsGLM 5V Turbonone Seed-2.0-LitenonevsGPT-5 Nanomedium Gemini 2.5 FlashnonevsGPT-5 Nanomedium GPT-5 NanomediumvsQwen3.5-35B-A3Bnone Gemma 4 31BnonevsGPT-5.4 Minimedium