AI BENCHY Compare

Google: Gemma 4 31B vs Mistral: Mistral Small 4

Samenvatting

Benchmarkvergelijking Gemma 4 31B vs Mistral Small 4: Gemma 4 31B leidt in gemiddelde score met 6.3 vs 5.1. Mistral Small 4 heeft lagere benchmarkkosten met $0.007 vs $0.033. Mistral Small 4 is sneller met 630ms vs 56.55s, met slagingspercentages van 69.8% vs 27.0%.

Aanbevolen model: Mistral Small 4 - Het biedt de beste totale afweging: concurrerende score (5.1), lagere kosten dan Gemma 4 31B en evenwichtige responstijd.

Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-06-12

Metriek	Gemma 4 31B Gemma 4 31B medium Releasedatum: 2026-04-02 Gratis beschikbaar	Mistral Small 4 Mistral Small 4 none Releasedatum: 2026-03-16

Metriek	Gemma 4 31B Gemma 4 31B medium Releasedatum: 2026-04-02 Gratis beschikbaar	Mistral Small 4 Mistral Small 4 none Releasedatum: 2026-03-16
Score	6.3	5.1
Rang	#87	#136
Betrouwbaarheid	10.0	10.0
Consistentie	9.4	9.5
Correcte tests
Slaagpercentage per poging	69.8%	27.0%
Instabiele tests	1	1
Totaal runs	63	63
Kosten per resultaat	0.257	0.139
Totale kosten	$0.033	$0.007
Invoerprijs	$0.120 / 1M	$0.150 / 1M
Uitvoerprijs	$0.350 / 1M	$0.600 / 1M
Totaal aantal invoer-tokens	17,957	37,309
Uitvoer-tokens	22,356	2,201
Redeneer-tokens	65,726	0
Responstijd (gem.)	56.55s	630ms
Responstijd (max)	437.40s	1.72s
Responstijd (totaal)	1074.41s	13.22s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#87 Gemma 4 31B

medium

Cost: $0.002
Time: 45.7s
Tokens: 2,696 tok

#136 Mistral Small 4

none

Cost: $0.002
Time: 10.4s
Tokens: 2,370 tok

Topmodellen op score

Score vs totale kosten

Responstijd (gem.)

Score vs Responstijd (gem.)

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Categorie-uitsplitsing

Anti-AI-trucs	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	10.0	10.0	100.0%	0		12.89s	816	962	2,046
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0

Programmeren	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	4.3	5.8	22.2%	1		219.76s	5,568	11,098	33,212
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0

Gecombineerd	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	11,640	496	0

Gegevensparsering en extractie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	10.0	10.0	100.0%	0		21.11s	8,334	1,822	2,951
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0

Domeinspecifiek	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	7.7	10.0	66.7%	0		38.48s	876	4,349	8,985
Mistral Small 4	5.3	10.0	33.3%	0		367ms	798	28	0

Algemene intelligentie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	10.0	10.0	100.0%	0		9.57s	567	105	888
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0

Instructies opvolgen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	10.0	10.0	100.0%	0		12.76s	777	533	2,035
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0

Puzzeloplossing	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	9.9	10.0	100.0%	0		26.91s	801	1,795	5,595
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0

Toolaanroepen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0

Algemene kennis	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
Gemma 4 31B	3.0	10.0	0.0%	0		90.14s	218	1,692	10,014
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0

Snelle vergelijking

Vergelijkingspaar wisselen