AI BENCHY Compare

Google: Gemma 4 31B vs Mistral: Mistral Small 4

Résumé

Comparaison benchmark Gemma 4 31B vs Mistral Small 4 : Gemma 4 31B mène au score moyen avec 6.3 vs 5.1. Mistral Small 4 a le coût de benchmark le plus bas avec $0.007 vs $0.033. Mistral Small 4 est plus rapide avec 630ms vs 56.55s, avec des taux de réussite de 69.8% vs 27.0%.

Modèle recommandé: Mistral Small 4 - Il offre le meilleur compromis global: score compétitif (5.1), coût inférieur à Gemma 4 31B et temps de réponse équilibré.

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-06-12

Métrique	Gemma 4 31B Gemma 4 31B medium Sortie: 2026-04-02 Disponible gratuitement	Mistral Small 4 Mistral Small 4 none Sortie: 2026-03-16

Métrique	Gemma 4 31B Gemma 4 31B medium Sortie: 2026-04-02 Disponible gratuitement	Mistral Small 4 Mistral Small 4 none Sortie: 2026-03-16
Score	6.3	5.1
Rang	#87	#136
Fiabilité	10.0	10.0
Cohérence	9.4	9.5
Tests corrects
Taux de réussite par tentative	69.8%	27.0%
Tests instables	1	1
Exécutions totales	63	63
Coût par résultat	0.257	0.139
Coût total	$0.033	$0.007
Prix d'entrée	$0.120 / 1M	$0.150 / 1M
Prix de sortie	$0.350 / 1M	$0.600 / 1M
Total des jetons d'entrée	17,957	37,309
Jetons de sortie	22,356	2,201
Jetons de raisonnement	65,726	0
Temps de réponse (moy.)	56.55s	630ms
Temps de réponse (max)	437.40s	1.72s
Temps de réponse (total)	1074.41s	13.22s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#87 Gemma 4 31B

medium

Cost: $0.002
Time: 45.7s
Tokens: 2,696 tok

#136 Mistral Small 4

none

Cost: $0.002
Time: 10.4s
Tokens: 2,370 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	10.0	10.0	100.0%	0		12.89s	816	962	2,046
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	4.3	5.8	22.2%	1		219.76s	5,568	11,098	33,212
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	11,640	496	0

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	10.0	10.0	100.0%	0		21.11s	8,334	1,822	2,951
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	7.7	10.0	66.7%	0		38.48s	876	4,349	8,985
Mistral Small 4	5.3	10.0	33.3%	0		367ms	798	28	0

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	10.0	10.0	100.0%	0		9.57s	567	105	888
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	10.0	10.0	100.0%	0		12.76s	777	533	2,035
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	9.9	10.0	100.0%	0		26.91s	801	1,795	5,595
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Gemma 4 31B	3.0	10.0	0.0%	0		90.14s	218	1,692	10,014
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0

Comparaison rapide

Changer la paire de comparaison