Navigation
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4 Nano

Résumé

Comparaison benchmark Mercury 2 vs GPT-5.4 Nano : Le score moyen est pratiquement à égalité avec 7.5 vs 7.5. Mercury 2 a le coût de benchmark le plus bas avec $0.058 vs $0.107. Mercury 2 est plus rapide avec 2.24s vs 11.95s, avec des taux de réussite de 54.0% vs 63.5%.

Modèle recommandé: Mercury 2 - Il obtient le meilleur score ici (7.5) tout en coûtant environ 1.8x moins que GPT-5.4 Nano.

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-06-12

Métrique Mercury 2 Mercury 2 medium Sortie: 2026-02-24 GPT-5.4 Nano GPT-5.4 Nano medium Sortie: 2026-03-17
Score 7.5 7.5
Rang #46 #48
Fiabilité 10.0 10.0
Cohérence 8.8 8.4
Tests corrects
Taux de réussite par tentative 54.0% 63.5%
Tests instables 3 4
Exécutions totales 63 63
Coût par résultat 0.578 0.969
Coût total $0.058 $0.107
Prix d'entrée $0.250 / 1M $0.200 / 1M
Prix de sortie $0.750 / 1M $1.250 / 1M
Total des jetons d'entrée 35,116 35,434
Jetons de sortie 4,048 3,014
Jetons de raisonnement 61,219 76,520
Temps de réponse (moy.) 2.24s 11.95s
Temps de réponse (max) 14.63s 94.06s
Temps de réponse (total) 44.72s 250.98s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#48 GPT-5.4 Nano

medium
Cost
$0.007
Time
24.6s
Tokens
4,943 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Astuces anti-IA Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
GPT-5.4 Nano 8.3 10.0 75.0% 0 4.52s 606 683 2,254
Programmation Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
GPT-5.4 Nano 6.1 4.7 66.7% 2 19.12s 7,305 516 20,778
Combiné Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
GPT-5.4 Nano 9.8 10.0 100.0% 0 24.13s 12,345 349 5,719
Analyse et extraction des données Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
GPT-5.4 Nano 10.0 10.0 100.0% 0 2.54s 7,140 234 516
Spécifique au domaine Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
GPT-5.4 Nano 5.9 7.2 55.6% 1 38.18s 619 60 43,325
Intelligence générale Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
GPT-5.4 Nano 4.5 10.0 0.0% 0 4.15s 477 179 443
Suivi des instructions Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
GPT-5.4 Nano 9.8 10.0 100.0% 0 1.88s 660 95 521
Résolution d'énigmes Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
GPT-5.4 Nano 4.1 7.2 22.2% 1 3.79s 642 594 1,408
Appel d'outils Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
GPT-5.4 Nano 10.0 10.0 100.0% 0 7.71s 5,445 234 382
Culture générale Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
GPT-5.4 Nano 3.0 10.0 0.0% 0 4.81s 195 70 1,174

Comparaison rapide

Changer la paire de comparaison

Mercury 2mediumvsGPT-5.3 ChatnoneGemini 3 Flash PreviewlowvsGPT-5.4 NanomediumMercury 2mediumvsStep 3.7 FlashlowGemini 3 Flash PreviewlowvsMercury 2mediumGPT-5.4 NanomediumvsStep 3.7 FlashlowClaude Sonnet 4.6nonevsGPT-5.4 NanomediumClaude Sonnet 4.6nonevsMercury 2mediumClaude Opus 4.8nonevsGPT-5.4 NanomediumClaude Opus 4.8nonevsMercury 2mediumGPT-5.4 NanomediumvsQwen3.7 PlusnoneMercury 2mediumvsQwen3.7 PlusnoneGPT-5.4 NanomediumvsStep 3.7 Flashhigh