Navigare
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4

Rezumat

Comparație benchmark Mercury 2 vs GPT-5.4: GPT-5.4 conduce la scorul mediu cu 5.8 vs 4.6. Mercury 2 are costul de benchmark mai mic, $0.011 vs $0.122. Mercury 2 este mai rapid cu 653ms vs 1.42s, cu rate de reușită de 23.8% vs 36.5%.

Model recomandat: Mercury 2 - Oferă cel mai bun compromis per total: scor competitiv (4.6), cost mai mic decât GPT-5.4 și timp de răspuns echilibrat.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-06-18

Metrică Mercury 2 Mercury 2 none Lansare: 2026-02-24 GPT-5.4 GPT-5.4 none Lansare: 2026-03-05
Scor 4.6 5.8
Rang #151 #112
Fiabilitate 10.0 10.0
Consistență 9.2 9.2
Teste corecte
Rată de trecere pe încercare 23.8% 36.5%
Teste instabile 2 2
Rulări totale 63 63
Cost per rezultat 0.259 1.740
Cost total $0.011 $0.122
Preț de intrare $0.250 / 1M $2.500 / 1M
Preț de ieșire $0.750 / 1M $15.000 / 1M
Total tokenuri de intrare 28,113 34,212
Tokenuri de ieșire 4,439 2,417
Tokenuri de raționament 0 0
Timp de răspuns (mediu) 653ms 1.42s
Timp de răspuns (maxim) 1.43s 2.95s
Timp de răspuns (total) 13.72s 29.87s

Prezentare generare

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#151 Mercury 2

none
Cost
$0.002
Timp
1.8s
Tokenuri
1,514 tok

#112 GPT-5.4

none
Cost
$0.026
Timp
18.1s
Tokenuri
1,792 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Trucuri anti-AI Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
GPT-5.4 3.2 8.0 8.3% 1 1.21s 606 406 0
Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.4 9.6 0.0% 0 1.03s 7,229 3,088 0
GPT-5.4 5.5 10.0 33.3% 0 1.62s 7,305 516 0
Combinat Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
GPT-5.4 3.0 10.0 0.0% 0 2.89s 11,019 291 0
Parsare și extragere de date Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
GPT-5.4 10.0 10.0 100.0% 0 1.04s 7,140 222 0
Specific domeniului Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
GPT-5.4 5.3 7.2 44.4% 1 1.07s 723 50 0
Inteligență generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
GPT-5.4 4.4 9.9 0.0% 0 1.78s 477 184 0
Respectarea instrucțiunilor Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
GPT-5.4 6.5 10.0 50.0% 0 1.07s 660 81 0
Rezolvare de puzzle-uri Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
GPT-5.4 5.6 9.8 33.3% 0 1.44s 642 381 0
Apelare instrumente Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
GPT-5.4 10.0 10.0 100.0% 0 2.75s 5,445 246 0
Cultură generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0
GPT-5.4 3.0 10.0 0.0% 0 990ms 195 40 0

Comparație rapidă

Schimbă perechea de comparație

Mercury 2nonevsQwen3 Coder NextmediumNorth Mini CodemediumDisponibil gratuitvsGPT-5.4noneMercury 2nonevsMiniMax M2.5mediumCobuddymediumvsMercury 2noneMercury 2nonevsGLM 4.7 FlashmediumGemini 3.1 Flash LiteminimalvsGPT-5.4noneMercury 2nonevsMistral Small 4mediumGPT-5.4nonevsQwen3.5-35B-A3BmediumGemma 4 31BmediumDisponibil gratuitvsGPT-5.4noneNemotron 3 SupermediumDisponibil gratuitvsGPT-5.4noneMercury 2nonevsMiniMax M2.7mediumMiniMax M2.7mediumvsGPT-5.4none