AI BENCHY Compare

Google: Gemma 4 31B vs OpenAI: GPT-5.4

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-04-02

Kipimo	Gemma 4 31B Gemma 4 31B none Toleo: 2026-04-02	GPT-5.4 GPT-5.4 medium Toleo: 2026-03-05

Kipimo	Gemma 4 31B Gemma 4 31B none Toleo: 2026-04-02	GPT-5.4 GPT-5.4 medium Toleo: 2026-03-05
Alama	6.7	8.1
Nafasi	#47	#18
Uthabiti	10.0	8.6
Majaribio sahihi
Kiwango cha kupita kwa kila jaribio	52.9%	78.4%
Majaribio yasiyo thabiti	0	3
Jumla ya uendeshaji	51	51
Gharama kwa matokeo	0.023	6.613
Jumla ya gharama	$0.002	$0.794
Bei ya ingizo	$0.140 / 1M	$2.500 / 1M
Bei ya toleo	$0.400 / 1M	$15.000 / 1M
Tokeni za matokeo	660	1,780
Tokeni za hoja	0	46,687
Muda wa majibu (wastani)	2.55s	18.95s
Muda wa majibu (upeo)	4.68s	100.41s
Muda wa majibu (jumla)	38.20s	322.23s

Modeli bora kwa alama

Alama dhidi ya gharama ya jumla

Muda wa majibu (wastani)

Alama vs Muda wa majibu (wastani)

Jumla ya tokeni za matokeo

Alama vs Jumla ya tokeni za matokeo

Mgawanyo wa kategoria

Mbinu za kupinga AI	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	45	0
GPT-5.4	8.3	10.0	75.0%	0		4.11s	240	1,511

Mchanganyiko	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4	10.0	10.0	100.0%	0		20.57s	301	3,543

Uchanganuzi na uchimbaji wa data	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	285	0
GPT-5.4	10.0	10.0	100.0%	0		5.32s	234	804

Mahususi kwa domeni	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	27	0
GPT-5.4	5.3	7.2	44.4%	1		74.27s	61	34,748

Akili ya jumla	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	117	0
GPT-5.4	4.7	3.1	33.3%	1		4.92s	145	321

Ufuataji wa maagizo	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	78	0
GPT-5.4	10.0	10.0	100.0%	0		3.11s	93	897

Puzzle Solving	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	5.5	10.0	33.3%	0		2.95s	108	0
GPT-5.4	8.2	7.2	88.9%	1		9.13s	442	3,832

Mwito wa zana	Alama	Uthabiti	Kiwango cha kupita kwa kila jaribio	Majaribio yasiyo thabiti	Majaribio sahihi	Muda wa majibu (wastani)	Tokeni za matokeo	Tokeni za hoja
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0
GPT-5.4	10.0	10.0	100.0%	0		13.28s	264	1,031

Ulinganisho wa haraka

Badilisha jozi ya ulinganisho

Gemini 3.1 Flash Lite PreviewlowvsGPT-5.4medium Gemini 3 Flash PreviewnonevsGPT-5.4medium Gemma 4 31BnonevsGPT-5 Minimedium Gemma 4 31BnonevsNemotron 3 SupermediumInapatikana bure Gemma 4 31BnonevsGrok 4.1 Fastmedium Gemma 4 31BnonevsHunter Alphamedium Gemini 3.1 Flash Lite PreviewnonevsGPT-5.4medium Gemma 4 31BnonevsGPT-5.4 Minimedium Gemma 4 31BnonevsGrok 4.20medium Gemma 4 31BnonevsMercury 2medium Gemma 4 31BnonevsGPT-5 Nanomedium Gemma 4 31BnonevsKimi K2.5medium