AI BENCHY Compare

OpenAI: GPT-5.4 vs StepFun: Step 3.7 Flash

Rezumat

Scorul mediu este practic egal la 8.5 vs 8.5. Step 3.7 Flash (medium) are costul de benchmark mai mic, $0.376 vs $1.210. Step 3.7 Flash (medium) este mai rapid cu 20.35s vs 22.35s, cu rate de reușită de 76.2% vs 73.0%.

Model recomandatStep 3.7 Flash (medium)Are cel mai bun scor aici (8.5) și costă de aproximativ 3.2x mai puțin decât GPT-5.4 (medium).

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-07-14

Metrică	GPT-5.4 GPT-5.4 medium Lansare: 2026-03-05	Step 3.7 Flash Step 3.7 Flash medium Lansare: 2026-05-29

Metrică	GPT-5.4 GPT-5.4 medium Lansare: 2026-03-05	Step 3.7 Flash Step 3.7 Flash medium Lansare: 2026-05-29
Scor	8.5	8.5
Rang	#20	#23
Fiabilitate	10.0	9.9
Consistență	8.6	9.3
Teste corecte
Rată de trecere pe încercare	76.2%	73.0%
Teste instabile	4	2
Rulări totale	63	61
Cost per rezultat	8.640	2.686
Cost total	$1.210	$0.376
Preț de intrare	$2.500 / 1M	$0.200 / 1M
Preț de ieșire	$15.000 / 1M	$1.150 / 1M
Total tokenuri de intrare	34,108	39,981
Tokenuri de ieșire	2,242	319,958
Tokenuri de raționament	72,707	0
Timp de răspuns (mediu)	22.35s	20.35s
Timp de răspuns (maxim)	100.41s	113.98s
Timp de răspuns (total)	469.29s	427.42s

Prezentare generare

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#20 GPT-5.4

medium

Cost: $0.214
Timp: 199.6s
Tokenuri: 14,349 tok

#23 Step 3.7 Flash

medium

Cost: $0.006
Timp: 46.2s
Tokenuri: 4,466 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Categorie:

Trucuri anti-AI	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	8.3	10.0	75.0%	0		4.11s	606	240	1,511
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Programare	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	8.8	7.8	88.9%	1		44.36s	7,305	433	24,216
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Combinat	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	10.0	10.0	100.0%	0		20.57s	11,019	301	3,543
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Parsare și extragere de date	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	10.0	10.0	100.0%	0		5.32s	7,140	234	804
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Specific domeniului	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	5.3	7.2	44.4%	1		74.27s	619	61	34,748
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Inteligență generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	4.7	3.1	33.3%	1		4.92s	477	145	321
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Respectarea instrucțiunilor	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	10.0	10.0	100.0%	0		3.11s	660	93	897
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Rezolvare de puzzle-uri	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	8.2	7.2	88.9%	1		9.14s	642	441	3,815
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Apelare instrumente	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	10.0	10.0	100.0%	0		13.28s	5,445	264	1,031
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Cultură generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
GPT-5.4	3.0	10.0	0.0%	0		13.95s	195	30	1,821
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Comparație rapidă

Schimbă perechea de comparație

GPT-5.2 ChatnonevsStep 3.7 Flashmedium DeepSeek V4 FlashhighvsStep 3.7 Flashmedium DeepSeek V4 FlashhighvsGPT-5.4medium GPT-5.6 TerrahighvsStep 3.7 Flashmedium Step 3.7 FlashmediumvsGLM 5.2high GPT-5.4mediumvsGLM 5.2high KAT-Coder-Pro V2.5lowvsStep 3.7 Flashmedium KAT-Coder-Pro V2.5lowvsGPT-5.4medium Step 3.7 FlashmediumvsGrok 4.5low GPT-5.4mediumvsGrok 4.5low Gemini 3.5 FlashlowvsGPT-5.4medium Claude Opus 4.8lowvsStep 3.7 Flashmedium