Navigation
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4 Mini

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-03-17

Métrique Mercury 2 Mercury 2 medium Sortie: 2026-02-24 GPT-5.4 Mini GPT-5.4 Mini none Sortie: 2026-03-17
Rang #42 #66
Score 6.3 4.8
Cohérence 8.5 8.6
Coût par résultat 0.634 0.737
Coût total $0.045 $0.030
Tests corrects
Taux de réussite par tentative 51.0% 31.4%
Tests instables 3 3
Exécutions totales 51 51
Jetons de sortie 3,723 2,085
Jetons de raisonnement 46,120 0
Temps de réponse (moy.) 2.25s 1.17s
Temps de réponse (max) 14.63s 2.52s
Temps de réponse (total) 35.99s 19.82s

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Astuces anti-IA Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 6.9 9.9 50.0% 0 1.12s 2,546 2,609
GPT-5.4 Mini 3.1 8.1 8.3% 1 929ms 654 0
Combiné Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.52s 298 0
Analyse et extraction des données Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 7.3 5.9 83.3% 1 1.11s 183 1,656
GPT-5.4 Mini 10.0 10.0 100.0% 0 1.30s 222 0
Spécifique au domaine Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 2.9 7.2 11.1% 1 6.48s 41 30,754
GPT-5.4 Mini 3.5 4.4 33.3% 2 937ms 88 0
Intelligence générale Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 4.8 10.0 0.0% 0 821ms 137 542
GPT-5.4 Mini 4.8 10.0 0.0% 0 1.82s 174 0
Suivi des instructions Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
GPT-5.4 Mini 6.3 10.0 50.0% 0 728ms 101 0
Puzzle Solving Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 3.9 7.5 22.2% 1 934ms 354 2,758
GPT-5.4 Mini 5.4 10.0 33.3% 0 860ms 293 0
Appel d'outils Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons de sortie Jetons de raisonnement
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.32s 255 0

Comparaison rapide

Changer la paire de comparaison