AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#131

Mercury 2

Inception Veröffentlichung: 2026-02-24 Getestet am: 2026-08-14 03:05 inception/mercury-2::medium
~100BSonstigeGeschlossenGeschätzt
(medium) (none)

Zusammenfassung

Mercury 2 erreicht 7.0 bei AI BENCHY und liegt auf #131. Das Modell hat 10.0 Zuverlässigkeit, 53.0% Erfolgsrate, $0.094 Gesamtkosten und 2.95s durchschnittliche Antwortzeit.

Was Mercury 2 besonders macht: Am stärksten ist es in Befolgung von Anweisungen, wo es #1 erreicht; am schwächsten ist Rätsellösen mit #16.

Modelldaten

Recherchiert am 2026-08-12

Geschätzt
Parameter
~100B
Architektur
Sonstige
Verfügbarkeit
Geschlossen
Lizenz
-

Beste Schätzung auf Grundlage öffentlicher Informationen; der Anbieter hat nicht alle Werte offengelegt.

Punktzahl

7.0

Konsistenz

8.4

Gesamte Ausgabe-Token

87,554

Gesamte Eingabe-Token

110,515

Eingabepreis

$0.250 / 1M

Ausgabepreis

$0.750 / 1M

Korrekte Tests

Falsche Tests: 12

Erfolgsquote pro Versuch: 53.0%

Instabile Tests

4

Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).

Antwortzeit (Durchschnitt)

2.95s

Antwortzeit (Maximum): 14.63s

Antwortzeit (Gesamt): 61.89s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#131 Mercury 2

medium
Kosten
$0.002
Zeit
2.1s
Token
1,702 tok

Testverlauf

Getestet am Punktzahl Zuverlässigkeit Korrekte Tests Gesamtkosten Vergleichen
2026-08-14 03:05 Erneuter Test 7.0 10.0 $0.094 Aktueller Lauf
2026-07-16 23:14 Neuer Test hinzugefügt 7.0 10.0 $0.093 Vergleichen
2026-06-04 14:27 Neuer Test hinzugefügt 6.6 10.0 $0.058 Vergleichen
2026-05-22 00:40 Erneuter Test 6.3 10.0 $0.055 Vergleichen
2026-04-11 01:44 Erster erfasster Lauf 6.5 k. A. $0.047 Vergleichen

Dieser Lauf nutzte eine andere Benchmark-Suite. Berücksichtige Suite-Änderungen bei der historischen Einordnung.

Laufvergleich

LaufBenchmark-AbdeckungPunktzahlKonsistenzZuverlässigkeitKorrekte TestsInstabile TestsGesamte Ausgabe-TokenGesamte Eingabe-TokenGesamtkostenAntwortzeit (Durchschnitt)
2026-08-14 03:05 · Aktueller Lauf66/66 Versuche7.08.410.010/22487,554110,515$0.0942.95s
2026-06-04 14:27 · Neuer Test hinzugefügt63/63 Versuche6.68.810.010/21365,26735,116$0.0582.24s
Differenz+0.3-0.40.00+1+22287+75399+$0.036+711ms

Die Benchmark-Abdeckung unterscheidet sich: 66/66 Versuche (Ziel: 3 Wiederholungen pro Test) gegenüber 63/63 Versuche (Ziel: 3 Wiederholungen pro Test). Summen und wiederholungsabhängige Metriken sind nicht direkt vergleichbar.

Diese beiden Läufe nutzten unterschiedliche Benchmark-Suiten, daher spiegeln die Deltas sowohl Modell- als auch Suite-Änderungen wider.

Preisverlauf

Historische Preisdaten für dieses Modell von OpenRouter.

Datum Eingabepreis Ausgabepreis
2026-08-14 12:51 $0.250 / 1M $0.750 / 1M

Diagramme

Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Schnellvergleich

Kategorieaufschlüsselung

Kategorie Punktzahl Konsistenz Korrekte Tests
Anti-KI-Tricks 6.9 9.9
Programmierung 8.2 7.7
Kombiniert 6.7 9.1
Datenanalyse und -extraktion 7.3 5.9
Domänenspezifisch 2.9 4.4
Allgemeine Intelligenz 4.8 10.0
Befolgung von Anweisungen 10.0 10.0
Rätsellösen 5.4 10.0
Werkzeugaufrufe 10.0 10.0
Allgemeinwissen 3.0 10.0

Verglichene Modelle