Navigare
Advertise here

Ember-1 (high) vs Grok 4.20 (medium)

Ember-1 (high) conduce la scorul mediu cu 7.1 vs 7.0. Grok 4.20 (medium) are costul de benchmark mai mic, $0.805 vs $1.798. Grok 4.20 (medium) este mai rapid cu 32.56s vs 56.77s, cu rate de reușită de 71.2% vs 60.6%.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-09-28

Modele comparate

Rang
#158
Total tokenuri de ieșire
110,125
Timp de răspuns (mediu)
56.77s
Cost total
$1.798
Rang
#167
Total tokenuri de ieșire
270,259
Timp de răspuns (mediu)
32.56s
Cost total
$0.805
Model recomandat Grok 4.20 (medium)

Scorul rămâne aproape de cel mai bun scor de aici (7.0 vs 7.1) și costă de aproximativ 2.2x mai puțin decât Ember-1 (high).

Comparație detaliată

Metrică Ember-1 Ember-1 high Lansare: 2026-09-28 Grok 4.20 Grok 4.20 medium Lansare: 2026-03-31
Scor 7.1 7.0
Rang #158 #167
Fiabilitate 8.0 10.0
Consistență 7.3 8.2
Încercări 66/66 66/66
Teste corecte
Rată de trecere pe încercare 71.2% 60.6%
Teste instabile 7 5
Rulări totale 66 66
Cost per rezultat 14.981 10.365
Cost total $1.798 $0.805
Preț de intrare $3.000 / 1M $1.250 / 1M
Preț de ieșire $15.000 / 1M $2.500 / 1M
Total tokenuri de intrare 48,577 102,986
Tokenuri de ieșire 7,345 5,860
Tokenuri de raționament 102,780 264,399
Timp de răspuns (mediu) 56.77s 32.56s
Timp de răspuns (maxim) 255.06s 199.66s
Timp de răspuns (total) 1248.88s 716.36s
Parametri ~2.8T în total (~104B activi) ~1T în total (~100B activi)
Disponibilitate Închis Închis

Prezentare generare modele

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#158 Ember-1

high
Cost
$0.038
Timp
55.1s
Tokenuri
2,671 tok

#167 SpaceXAI: Grok 4.20

medium
Cost
$0.041
Timp
110.3s
Tokenuri
16,336 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Ember-1 8.2 7.2 88.9% 1 72.23s 7,144 1,281 23,093
Grok 4.20 6.3 6.6 55.6% 1 109.93s 8,307 268 103,150

Comparație rapidă

Schimbă perechea de comparație