AI BENCHY Compare

Google: Gemma 4 31B vs OpenAI: GPT-5.4

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-02

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5.4 GPT-5.4 medium Rilis: 2026-03-05

Metrik	Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02	GPT-5.4 GPT-5.4 medium Rilis: 2026-03-05
Skor	6.7	8.1
Peringkat	#47	#18
Konsistensi	10.0	8.6
Tes benar
Tingkat lulus per percobaan	52.9%	78.4%
Tes tidak stabil	0	3
Total Run	51	51
Biaya per hasil	0.023	6.613
Total Biaya	$0.002	$0.794
Harga input	$0.140 / 1M	$2.500 / 1M
Harga output	$0.400 / 1M	$15.000 / 1M
Token output	660	1,780
Token penalaran	0	46,687
Waktu respons (rata-rata)	2.55s	18.95s
Waktu respons (maks)	4.68s	100.41s
Waktu respons (total)	38.20s	322.23s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	45	0
GPT-5.4	8.3	10.0	75.0%	0		4.11s	240	1,511

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4	10.0	10.0	100.0%	0		20.57s	301	3,543

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	285	0
GPT-5.4	10.0	10.0	100.0%	0		5.32s	234	804

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	27	0
GPT-5.4	5.3	7.2	44.4%	1		74.27s	61	34,748

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	117	0
GPT-5.4	4.7	3.1	33.3%	1		4.92s	145	321

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	78	0
GPT-5.4	10.0	10.0	100.0%	0		3.11s	93	897

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	5.5	10.0	33.3%	0		2.95s	108	0
GPT-5.4	8.2	7.2	88.9%	1		9.13s	442	3,832

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4	10.0	10.0	100.0%	0		13.28s	264	1,031

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemini 3.1 Flash Lite PreviewlowvsGPT-5.4medium Gemini 3 Flash PreviewnonevsGPT-5.4medium Gemma 4 31BnonevsGPT-5 Minimedium Gemma 4 31BnonevsNemotron 3 SupermediumTersedia gratis Gemma 4 31BnonevsGrok 4.1 Fastmedium Gemma 4 31BnonevsHunter Alphamedium Gemini 3.1 Flash Lite PreviewnonevsGPT-5.4medium Gemma 4 31BnonevsGPT-5.4 Minimedium Gemma 4 31BnonevsGrok 4.20medium Gemma 4 31BnonevsMercury 2medium Gemma 4 31BnonevsGPT-5 Nanomedium Gemma 4 31BnonevsKimi K2.5medium