AI BENCHY Compare

OpenAI: GPT-5.4 vs StepFun: Step 3.7 Flash

Résumé

Le score moyen est pratiquement à égalité avec 8.5 vs 8.5. Step 3.7 Flash (medium) a le coût de benchmark le plus bas avec $0.376 vs $1.210. Step 3.7 Flash (medium) est plus rapide avec 20.35s vs 22.35s, avec des taux de réussite de 76.2% vs 73.0%.

Modèle recommandéStep 3.7 Flash (medium)Il obtient le meilleur score ici (8.5) tout en coûtant environ 3.2x moins que GPT-5.4 (medium).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-14

Métrique	GPT-5.4 GPT-5.4 medium Sortie: 2026-03-05	Step 3.7 Flash Step 3.7 Flash medium Sortie: 2026-05-29

Métrique	GPT-5.4 GPT-5.4 medium Sortie: 2026-03-05	Step 3.7 Flash Step 3.7 Flash medium Sortie: 2026-05-29
Score	8.5	8.5
Rang	#20	#23
Fiabilité	10.0	9.9
Cohérence	8.6	9.3
Tests corrects
Taux de réussite par tentative	76.2%	73.0%
Tests instables	4	2
Exécutions totales	63	61
Coût par résultat	8.640	2.686
Coût total	$1.210	$0.376
Prix d'entrée	$2.500 / 1M	$0.200 / 1M
Prix de sortie	$15.000 / 1M	$1.150 / 1M
Total des jetons d'entrée	34,108	39,981
Jetons de sortie	2,242	319,958
Jetons de raisonnement	72,707	0
Temps de réponse (moy.)	22.35s	20.35s
Temps de réponse (max)	100.41s	113.98s
Temps de réponse (total)	469.29s	427.42s

Génération showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#20 GPT-5.4

medium

Coût: $0.214
Temps: 199.6s
Tokens: 14,349 tok

#23 Step 3.7 Flash

medium

Coût: $0.006
Temps: 46.2s
Tokens: 4,466 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	8.3	10.0	75.0%	0		4.11s	606	240	1,511
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	8.8	7.8	88.9%	1		44.36s	7,305	433	24,216
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	10.0	10.0	100.0%	0		20.57s	11,019	301	3,543
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	10.0	10.0	100.0%	0		5.32s	7,140	234	804
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	5.3	7.2	44.4%	1		74.27s	619	61	34,748
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	4.7	3.1	33.3%	1		4.92s	477	145	321
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	10.0	10.0	100.0%	0		3.11s	660	93	897
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	8.2	7.2	88.9%	1		9.14s	642	441	3,815
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	10.0	10.0	100.0%	0		13.28s	5,445	264	1,031
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
GPT-5.4	3.0	10.0	0.0%	0		13.95s	195	30	1,821
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Comparaison rapide

Changer la paire de comparaison

GPT-5.2 ChatnonevsStep 3.7 Flashmedium DeepSeek V4 FlashhighvsStep 3.7 Flashmedium DeepSeek V4 FlashhighvsGPT-5.4medium GPT-5.6 TerrahighvsStep 3.7 Flashmedium Step 3.7 FlashmediumvsGLM 5.2high GPT-5.4mediumvsGLM 5.2high KAT-Coder-Pro V2.5lowvsStep 3.7 Flashmedium KAT-Coder-Pro V2.5lowvsGPT-5.4medium Step 3.7 FlashmediumvsGrok 4.5low GPT-5.4mediumvsGrok 4.5low Gemini 3.5 FlashlowvsGPT-5.4medium Claude Opus 4.8lowvsStep 3.7 Flashmedium