AI BENCHY
Advertise here
#125

Mercury 2

Inception Releasedatum: 2026-02-24 Getest op: 2026-08-14 03:05 inception/mercury-2::medium
~100BOverigGesloten broncodeGeschat
(medium) (none)

Samenvatting

Mercury 2 scoort 7.0 op AI BENCHY en staat op #125. Het model heeft 10.0 betrouwbaarheid, een slagingspercentage van 53.0%, $0.094 totale kosten en 2.95s gemiddelde responstijd.

Wat Mercury 2 uniek maakt: Het valt het meest op in Instructies opvolgen, waar het #1 staat, terwijl Puzzeloplossing het zwakste gebied is met #16.

Modelgegevens

Onderzocht op 2026-08-12

Geschat
Parameters
~100B
Architectuur
Overig
Beschikbaarheid
Gesloten broncode
Licentie
-

Beste schatting op basis van openbare informatie; de leverancier heeft niet alle waarden bekendgemaakt.

Score

7.0

Consistentie

8.4

Totaal aantal uitvoer-tokens

87,554

Totaal aantal invoer-tokens

110,515

Invoerprijs

$0.250 / 1M

Uitvoerprijs

$0.750 / 1M

Correcte tests

Foute tests: 12

Slaagpercentage per poging: 53.0%

Instabiele tests

4

Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).

Responstijd (gem.)

2.95s

Responstijd (max): 14.63s

Responstijd (totaal): 61.89s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#125 Mercury 2

medium
Kosten
$0.002
Tijd
2.1s
Tokens
1,702 tok

Rungeschiedenis

Getest op Score Betrouwbaarheid Correcte tests Totale kosten Vergelijken
2026-08-14 03:05 Hertest 7.0 10.0 $0.094 Huidige run
2026-07-16 23:14 Nieuwe test toegevoegd 7.0 10.0 $0.093 Vergelijken
2026-06-04 14:27 Nieuwe test toegevoegd 6.6 10.0 $0.058 Vergelijken
2026-05-22 00:40 Hertest 6.3 10.0 $0.055 Vergelijken
2026-04-11 01:44 Eerste geregistreerde run 6.5 n.v.t. $0.047 Vergelijken

Deze run gebruikte een andere benchmarkset. Houd rekening met suitewijzigingen bij het lezen van historische verschuivingen.

Prijsgeschiedenis

Historische prijsgegevens voor dit model van OpenRouter.

Datum Invoerprijs Uitvoerprijs
2026-08-14 12:51 $0.250 / 1M $0.750 / 1M

Grafieken

Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Snelle vergelijking

Categorie-uitsplitsing

Categorie Score Consistentie Correcte tests
Anti-AI-trucs 6.9 9.9
Programmeren 8.2 7.7
Gecombineerd 6.7 9.1
Gegevensparsering en extractie 7.3 5.9
Domeinspecifiek 2.9 4.4
Algemene intelligentie 4.8 10.0
Instructies opvolgen 10.0 10.0
Puzzeloplossing 5.4 10.0
Toolaanroepen 10.0 10.0
Algemene kennis 3.0 10.0

Vergeleken modellen