AI BENCHY
Advertise here
#17

GPT-5.4

OpenAI Releasedatum: 2026-03-05 Getest op: 2026-04-11 01:44 openai/gpt-5.4::medium
~1.5T totaal (~100B actief)MoEGesloten broncodeGeschat
(medium) (none)

Samenvatting

GPT-5.4 scoort 8.2 op AI BENCHY en staat op #17. Het model heeft n.v.t. betrouwbaarheid, een slagingspercentage van 79.6%, $0.832 totale kosten en 18.63s gemiddelde responstijd.

Modelgegevens

Onderzocht op 2026-08-12

Geschat
Parameters
~1.5T totaal (~100B actief)
Architectuur
MoE
Beschikbaarheid
Gesloten broncode
Licentie
-

Beste schatting op basis van openbare informatie; de leverancier heeft niet alle waarden bekendgemaakt.

Score

8.2

Consistentie

8.7

Betrouwbaarheid

n.v.t.

Totaal aantal uitvoer-tokens

50,901

Totaal aantal invoer-tokens

0

Invoerprijs

$2.500 / 1M

Uitvoerprijs

$15.000 / 1M

Correcte tests

Foute tests: 5

Slaagpercentage per poging: 79.6%

Instabiele tests

3

Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).

Responstijd (gem.)

18.63s

Responstijd (max): 100.41s

Responstijd (totaal): 335.26s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#17 GPT-5.4

medium
Kosten
$0.214
Tijd
199.6s
Tokens
14,349 tok

Rungeschiedenis

Getest op Score Betrouwbaarheid Correcte tests Totale kosten Vergelijken
2026-08-14 02:16 Hertest 8.5 10.0 $1.560 Vergelijken
2026-07-16 22:34 Nieuwe test toegevoegd 8.5 10.0 $1.533 Vergelijken
2026-06-04 13:46 Nieuwe test toegevoegd 8.0 10.0 $1.210 Vergelijken
2026-05-22 00:19 Suite gewijzigd 7.9 10.0 $1.140 Vergelijken
2026-04-11 01:44 Eerste geregistreerde run 8.2 n.v.t. $0.832 Huidige run

Runvergelijking

RunBenchmarkdekkingScoreConsistentieBetrouwbaarheidCorrecte testsInstabiele testsTotaal aantal uitvoer-tokensTotaal aantal invoer-tokensTotale kostenResponstijd (gem.)
2026-04-11 01:44 · Eerste geregistreerde run54/54 pogingen8.28.7n.v.t.13/18350,9010$0.83218.63s
2026-07-16 22:34 · Nieuwe test toegevoegd66/66 pogingen8.58.610.015/22488,67081,127$1.53323.10s
Verschil-0.3+0.1-2-1-37769-81127-$0.702-4477ms

De benchmarkdekking verschilt: 54/54 pogingen (Doel: 3 herhalingen per test) tegenover 66/66 pogingen (Doel: 3 herhalingen per test). Totalen en herhalingsgevoelige statistieken zijn niet direct vergelijkbaar.

Deze twee runs gebruikten verschillende benchmarksets, dus de verschillen weerspiegelen zowel modelveranderingen als suitewijzigingen.

Grafieken

Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Snelle vergelijking

Categorie-uitsplitsing

Categorie Score Consistentie Correcte tests
Anti-AI-trucs 8.3 10.0
Programmeren 10.0 10.0
Gecombineerd 10.0 10.0
Gegevensparsering en extractie 10.0 10.0
Domeinspecifiek 5.3 7.2
Algemene intelligentie 4.7 3.1
Instructies opvolgen 10.0 10.0
Puzzeloplossing 8.2 7.2
Toolaanroepen 10.0 10.0

Vergeleken modellen