Navigare
Advertise here

Gemma 4 26B A4B (medium) vs Mercury 2.5 (medium)

Scorul mediu este practic egal la 6.8 vs 6.8. Mercury 2.5 (medium) are costul de benchmark mai mic, $0.022 vs $0.092. Mercury 2.5 (medium) este mai rapid cu 3.19s vs 104.93s, cu rate de reușită de 69.7% vs 65.2%.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-09-08

Modele comparate

Rang
#159
Total tokenuri de ieșire
253,646
Timp de răspuns (mediu)
104.93s
Cost total
$0.092
Rang
#157
Total tokenuri de ieșire
120,129
Timp de răspuns (mediu)
3.19s
Cost total
$0.022
Model recomandat Mercury 2.5 (medium)

Are cel mai bun scor aici (6.8) și costă de aproximativ 4.2x mai puțin decât Gemma 4 26B A4B (medium).

Comparație detaliată

Metrică Gemma 4 26B A4B Gemma 4 26B A4B medium Lansare: 2026-04-03 Disponibil gratuit Mercury 2.5 Mercury 2.5 medium Lansare: 2026-09-08
Scor 6.8 6.8
Rang #159 #157
Fiabilitate 10.0 9.8
Consistență 9.6 8.6
Încercări 66/66 66/66
Teste corecte
Rată de trecere pe încercare 69.7% 65.2%
Teste instabile 1 4
Rulări totale 66 66
Cost per rezultat 0.623 0.181
Cost total $0.092 $0.022
Preț de intrare $0.070 / 1M $0.040 / 1M
Preț de ieșire $0.340 / 1M $0.150 / 1M
Total tokenuri de intrare 77,528 91,402
Tokenuri de ieșire 26,048 3,138
Tokenuri de raționament 227,598 116,991
Timp de răspuns (mediu) 104.93s 3.19s
Timp de răspuns (maxim) 912.19s 9.87s
Timp de răspuns (total) 2203.52s 70.18s
Parametri 25.2B în total (3.8B activi) ~100B
Disponibilitate Sursă deschisă Închis

Prezentare generare modele

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#159 Gemma 4 26B A4B

medium
Reached the allocated time limit (300 seconds) without receiving showcase output.
Cost
$0.000
Timp
300.0s
Tokenuri
0 tok

#157 Mercury 2.5

medium
Cost
$0.001
Timp
3.8s
Tokenuri
3,386 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Gemma 4 26B A4B 2.9 10.0 0.0% 0 272.54s 5,062 14,838 44,567
Mercury 2.5 5.0 5.1 44.5% 2 3.70s 7,807 488 21,857

Comparație rapidă

Schimbă perechea de comparație