Navigare
Advertise here

Ember-1 (max) vs GPT-5.4

Ember-1 (max) conduce la scorul mediu cu 5.9 vs 5.8. GPT-5.4 are costul de benchmark mai mic, $0.397 vs $2.792. GPT-5.4 este mai rapid cu 2.08s vs 98.92s, cu rate de reușită de 57.6% vs 34.9%.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-09-28

Modele comparate

Rang
#248
Total tokenuri de ieșire
180,806
Timp de răspuns (mediu)
98.92s
Cost total
$2.792
Rang
#254
Total tokenuri de ieșire
8,339
Timp de răspuns (mediu)
2.08s
Cost total
$0.397
Model recomandat GPT-5.4

Scorul rămâne aproape de cel mai bun scor de aici (5.8 vs 5.9) și costă de aproximativ 7.0x mai puțin decât Ember-1 (max).

Comparație detaliată

Metrică Ember-1 Ember-1 max Lansare: 2026-09-28 GPT-5.4 GPT-5.4 none Lansare: 2026-03-05
Scor 5.9 5.8
Rang #248 #254
Fiabilitate 7.5 10.0
Consistență 7.7 9.2
Încercări 66/66 66/66
Teste corecte
Rată de trecere pe încercare 57.6% 34.9%
Teste instabile 6 2
Rulări totale 66 66
Cost per rezultat 27.915 5.667
Cost total $2.792 $0.397
Preț de intrare $3.000 / 1M $2.500 / 1M
Preț de ieșire $15.000 / 1M $15.000 / 1M
Total tokenuri de intrare 26,449 108,641
Tokenuri de ieșire 4,183 8,339
Tokenuri de raționament 176,623 0
Timp de răspuns (mediu) 98.92s 2.08s
Timp de răspuns (maxim) 587.08s 15.63s
Timp de răspuns (total) 2176.20s 45.75s
Parametri ~2.8T în total (~104B activi) ~1.5T în total (~100B activi)
Disponibilitate Închis Închis

Prezentare generare modele

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#248 Ember-1

max
Cost
$0.163
Timp
229.4s
Tokenuri
11,002 tok

#254 GPT-5.4

none
Cost
$0.026
Timp
18.1s
Tokenuri
1,792 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Ember-1 5.2 4.4 55.6% 2 105.09s 3,362 1,149 27,957
GPT-5.4 5.5 10.0 33.3% 0 1.62s 7,305 516 0

Comparație rapidă

Schimbă perechea de comparație