#59
Inception
Releasedatum: 2026-02-24
Getest op: 2026-04-11 01:44
inception/mercury-2::medium
(medium)
(none)
6.5
Consistentie
8.6
n.v.t.
Totaal aantal uitvoer-tokens
52,305
Totaal aantal invoer-tokens
0
Invoerprijs
$0.250 / 1M
Uitvoerprijs
$0.750 / 1M
Instabiele tests
3
Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).
Rungeschiedenis
| Getest op | Score | Betrouwbaarheid | Correcte tests | Totale kosten | Vergelijken |
|---|---|---|---|---|---|
| 2026-05-22 00:40 Hertest | 6.3 | 10.0 | $0.055 | Vergelijken | |
| 2026-04-11 01:44 Eerste geregistreerde run | 6.5 | n.v.t. | $0.047 | Huidige run |
Runvergelijking
| Run | Score | Consistentie | Betrouwbaarheid | Correcte tests | Instabiele tests | Totaal aantal uitvoer-tokens | Totaal aantal invoer-tokens | Totale kosten | Responstijd (gem.) |
|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · Eerste geregistreerde run | 6.5 | 8.6 | n.v.t. | 8/18 | 3 | 52,305 | 0 | $0.047 | 2.21s |
| 2026-05-22 00:40 · Hertest | 6.3 | 8.4 | 10.0 | 8/20 | 4 | 62,397 | 0 | $0.055 | 2.27s |
| Verschil | +0.2 | +0.2 | 0 | -1 | -10092 | 0 | -$0.009 | -65ms |
Deze twee runs gebruikten verschillende benchmarksets, dus de verschillen weerspiegelen zowel modelveranderingen als suitewijzigingen.
Grafieken
Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.
Score vs Totale kosten
Responstijd (gem.)
Score vs Responstijd (gem.)
Totaal aantal uitvoer-tokens
Score vs Totaal aantal uitvoer-tokens
Snelle vergelijking
Categorie-uitsplitsing
| Categorie | Score | Consistentie | Correcte tests |
|---|---|---|---|
| Anti-AI-trucs | 6.9 | 9.9 | |
| Programmeren | 10.0 | 10.0 | |
| Gecombineerd | 10.0 | 10.0 | |
| Gegevensparsering en extractie | 7.3 | 5.9 | |
| Domeinspecifiek | 2.9 | 7.2 | |
| Algemene intelligentie | 4.8 | 10.0 | |
| Instructies opvolgen | 10.0 | 10.0 | |
| Puzzeloplossing | 3.9 | 7.5 | |
| Toolaanroepen | 10.0 | 10.0 |