Navigare
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Inception: Mercury 2 vs xAI: Grok 4.20 Multi-Agent Beta

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-03-12

Metrică Mercury 2 Mercury 2 none Lansare: 2026-02-24 Grok 4.20 Multi-Agent Beta Grok 4.20 Multi-Agent Beta medium Lansare: 2026-03-12
Rang #61 #47
Scor mediu 3.4 4.9
Consistență 9.0 7.1
Cost per rezultat 0.153 97.178
Cost total $0.007 $4.859
Teste corecte
Rată de trecere pe încercare 31.3% 52.1%
Teste instabile 2 6
Rulări totale 48 48
Tokenuri de ieșire 1,303 293,634
Tokenuri de raționament 0 291,260
Timp de răspuns (mediu) 596ms 9.08s
Timp de răspuns (maxim) 1.27s 35.28s
Timp de răspuns (total) 9.54s 127.09s

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor mediu vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor mediu vs Total tokenuri de ieșire

Defalcare pe categorii

Trucuri anti-AI Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 0.0% 0 466ms 274 0
Grok 4.20 Multi-Agent Beta 4.0 4.4 66.7% 2 3.77s 28,392 27,808
Combinat Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 0.0% 0 606ms 131 0
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Parsare și extragere de date Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 5.5 5.9 83.3% 1 667ms 180 0
Grok 4.20 Multi-Agent Beta 9.9 10.0 100.0% 0 5.54s 25,306 25,051
Specific domeniului Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 4.0 7.2 44.4% 1 534ms 46 0
Grok 4.20 Multi-Agent Beta 10.0 7.2 11.1% 1 24.67s 164,609 163,647
Inteligență generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 4.0 10.0 0.0% 0 628ms 159 0
Grok 4.20 Multi-Agent Beta 4.0 2.8 66.7% 1 6.40s 15,848 15,746
Respectarea instrucțiunilor Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 5.5 10.0 50.0% 0 551ms 82 0
Grok 4.20 Multi-Agent Beta 9.0 10.0 50.0% 0 4.63s 25,457 25,322
Puzzle Solving Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 0.0% 0 533ms 234 0
Grok 4.20 Multi-Agent Beta 6.3 5.1 77.8% 2 5.01s 34,022 33,686
Apelare instrumente Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0

Comparație rapidă

Schimbă perechea de comparație