Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Mercury 2 (medium) mène au score moyen avec 7.0 vs 6.9. Mercury 2 (medium) a le coût de benchmark le plus bas avec $0.093 vs $1.207. Mercury 2 (medium) est plus rapide avec 2.72s vs 64.68s, avec des taux de réussite de 51.5% vs 63.6%.

Modèle recommandéMercury 2 (medium)Il obtient le meilleur score ici (7.0) tout en coûtant environ 13.0x moins que Step 3.7 Flash (high).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-22

Métrique	Mercury 2 Mercury 2 medium Sortie: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Sortie: 2026-05-29

Métrique	Mercury 2 Mercury 2 medium Sortie: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Sortie: 2026-05-29
Score	7.0	6.9
Rang	#82	#90
Fiabilité	10.0	10.0
Cohérence	8.8	8.0
Tests corrects
Taux de réussite par tentative	51.5%	63.6%
Tests instables	3	5
Exécutions totales	66	66
Coût par résultat	0.928	10.973
Coût total	$0.093	$1.207
Prix d'entrée	$0.250 / 1M	$0.200 / 1M
Prix de sortie	$0.750 / 1M	$1.150 / 1M
Total des jetons d'entrée	109,572	98,691
Jetons de sortie	10,313	1,032,395
Jetons de raisonnement	76,806	0
Temps de réponse (moy.)	2.72s	64.68s
Temps de réponse (max)	14.63s	364.99s
Temps de réponse (total)	57.12s	1423.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#82 Mercury 2

medium

Coût: $0.002
Temps: 2.1s
Tokens: 1,702 tok

#90 Step 3.7 Flash

high

Coût: $0.007
Temps: 63.6s
Tokens: 6,030 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	6.7	9.1	50.0%	0		7.84s	87,365	6,533	20,474
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	2.9	7.2	11.1%	1		6.48s	695	41	30,754
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	783	410,502	0

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Comparaison rapide

Changer la paire de comparaison

GPT-5.5nonevsStep 3.7 Flashhigh Gemini 3.5 FlashnonevsMercury 2medium Qwen3.6 FlashmediumvsStep 3.7 Flashhigh Step 3.7 FlashhighvsMiMo-V2.5-Promedium Gemini 3.5 FlashminimalvsStep 3.7 Flashhigh GPT-5.6 SolnonevsStep 3.7 Flashhigh DeepSeek V4 PrononevsStep 3.7 Flashhigh KAT-Coder-Pro V2.5mediumvsStep 3.7 Flashhigh DeepSeek V4 PrononevsMercury 2medium Mercury 2mediumvsGPT-5.6 Solnone Seed-2.0-MinimediumvsStep 3.7 Flashhigh Gemini 3 Flash PreviewnonevsStep 3.7 Flashhigh