Navigare
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs xAI: Grok 4.20

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-05-10

Metrică Mercury 2 Mercury 2 medium Lansare: 2026-02-24 Grok 4.20 Grok 4.20 none Lansare: 2026-03-31
Scor 6.3 5.4
Rang #82 #115
Fiabilitate 10.0 N/D
Consistență 8.7 9.5
Teste corecte
Rată de trecere pe încercare 50.9% 35.2%
Teste instabile 3 1
Rulări totale 57 54
Cost per rezultat 0.616 1.574
Cost total $0.050 $0.095
Preț de intrare $0.250 / 1M $1.250 / 1M
Preț de ieșire $0.750 / 1M $2.500 / 1M
Tokenuri de ieșire 3,994 1,967
Tokenuri de raționament 52,081 0
Timp de răspuns (mediu) 2.23s 1.11s
Timp de răspuns (maxim) 14.63s 6.04s
Timp de răspuns (total) 40.10s 20.02s

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Trucuri anti-AI Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 6.9 9.9 50.0% 0 1.12s 2,546 2,609
Grok 4.20 4.8 10.0 25.0% 0 501ms 267 0
Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 1.53s 249 2,213
Grok 4.20 3.4 9.3 0.0% 0 1.22s 312 0
Combinat Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
Grok 4.20 3.0 10.0 0.0% 0 6.04s 282 0
Parsare și extragere de date Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 7.3 5.9 83.3% 1 1.11s 183 1,656
Grok 4.20 10.0 10.0 100.0% 0 522ms 207 0
Specific domeniului Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 2.9 7.2 11.1% 1 6.48s 41 30,754
Grok 4.20 3.0 10.0 0.0% 0 687ms 325 0
Inteligență generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 4.8 10.0 0.0% 0 821ms 137 542
Grok 4.20 4.8 10.0 0.0% 0 659ms 83 0
Respectarea instrucțiunilor Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
Grok 4.20 6.3 10.0 50.0% 0 455ms 60 0
Rezolvare de puzzle-uri Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.8 7.3 22.2% 1 934ms 354 2,758
Grok 4.20 5.3 7.2 44.4% 1 487ms 242 0
Apelare instrumente Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
Grok 4.20 10.0 10.0 100.0% 0 4.63s 189 0
Cultură generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de ieșire Tokenuri de raționament
Mercury 2 3.0 10.0 0.0% 0 2.58s 22 3,748
Grok 4.20 - - - - - - - -

Comparație rapidă

Schimbă perechea de comparație