AI BENCHY Compare

Google: Gemma 4 31B vs OpenAI: GPT-5.4 Nano

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-04

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17
Skor	6.7	7.4
Peringkat	#48	#35
Konsistensi	10.0	9.0
Tes benar
Tingkat lulus per percobaan	52.9%	66.7%
Tes tidak stabil	0	2
Total Run	51	51
Biaya per hasil	0.023	0.769
Total Biaya	$0.002	$0.077
Harga input	$0.140 / 1M	$0.200 / 1M
Harga output	$0.400 / 1M	$1.250 / 1M
Token output	660	2,474
Token penalaran	0	54,516
Waktu respons (rata-rata)	2.55s	11.08s
Waktu respons (maks)	4.68s	94.06s
Waktu respons (total)	38.20s	188.39s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	45	0
GPT-5.4 Nano	8.3	10.0	75.0%	0		4.52s	683	2,254

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4 Nano	9.8	10.0	100.0%	0		24.13s	349	5,719

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	285	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		2.54s	234	516

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	27	0
GPT-5.4 Nano	5.9	7.2	55.6%	1		38.18s	60	43,325

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	117	0
GPT-5.4 Nano	4.5	10.0	0.0%	0		4.15s	179	443

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	78	0
GPT-5.4 Nano	9.8	10.0	100.0%	0		1.88s	95	521

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	5.5	10.0	33.3%	0		2.95s	108	0
GPT-5.4 Nano	4.0	7.1	22.2%	1		3.65s	640	1,356

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		7.71s	234	382

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemma 4 31BnonevsGPT-5 Minimedium Claude Sonnet 4.6nonevsGPT-5.4 Nanomedium Gemma 4 31BnonevsNemotron 3 SupermediumTersedia gratis Gemma 4 31BnonevsGrok 4.1 Fastmedium Gemma 4 31BnonevsHunter Alphamedium Gemma 4 31BnonevsGPT-5.4 Minimedium Gemma 4 31BnonevsGrok 4.20medium Gemini 3.1 Flash Lite PreviewnonevsGPT-5.4 Nanomedium Gemma 4 31BnonevsMercury 2medium Gemma 4 31BnonevsGPT-5 Nanomedium Gemma 4 31BnonevsKimi K2.5medium Gemma 4 31BnonevsGrok 4.20 Multi Agent Betamedium