Navigare
AI BENCHY
Advertise here

AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Inception: Mercury 2

Rezumat

Comparație benchmark Claude Opus 4.8 vs Mercury 2: Claude Opus 4.8 conduce la scorul mediu cu 7.0 vs 6.6. Mercury 2 are costul de benchmark mai mic, $0.058 vs $0.539. Mercury 2 este mai rapid cu 2.24s vs 3.47s, cu rate de reușită de 61.9% vs 54.0%.

Model recomandat: Mercury 2 - Scorul rămâne aproape de cel mai bun scor de aici (6.6 vs 7.0) și costă de aproximativ 9.3x mai puțin decât Claude Opus 4.8.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-06-04

Metrică Claude Opus 4.8 Claude Opus 4.8 none Lansare: 2026-05-28 Mercury 2 Mercury 2 medium Lansare: 2026-02-24
Scor 7.0 6.6
Rang #68 #81
Fiabilitate 10.0 10.0
Consistență 9.2 8.8
Teste corecte
Rată de trecere pe încercare 61.9% 54.0%
Teste instabile 2 3
Rulări totale 63 63
Cost per rezultat 4.485 0.578
Cost total $0.539 $0.058
Preț de intrare $5.000 / 1M $0.250 / 1M
Preț de ieșire $25.000 / 1M $0.750 / 1M
Total tokenuri de intrare 67,104 35,116
Tokenuri de ieșire 8,107 4,048
Tokenuri de raționament 0 61,219
Timp de răspuns (mediu) 3.47s 2.24s
Timp de răspuns (maxim) 17.73s 14.63s
Timp de răspuns (total) 72.90s 44.72s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#68 Claude Opus 4.8

none
Cost
$0.053
Time
22.0s
Tokens
2,253 tok

#81 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Trucuri anti-AI Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 6.5 10.0 50.0% 0 3.40s 834 1,472 0
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Programare Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 5.5 10.0 33.3% 0 3.29s 10,590 1,332 0
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Combinat Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 9.5 10.0 100.0% 0 17.73s 29,658 3,259 0
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Parsare și extragere de date Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 7.3 5.8 83.3% 1 1.77s 10,503 308 0
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Specific domeniului Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 5.3 7.2 44.4% 1 1.66s 975 61 0
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Inteligență generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 10.0 10.0 100.0% 0 3.48s 708 230 0
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Respectarea instrucțiunilor Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 9.9 10.0 100.0% 0 1.37s 909 95 0
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Rezolvare de puzzle-uri Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 7.7 10.0 66.7% 0 2.74s 894 783 0
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Apelare instrumente Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 10.0 10.0 100.0% 0 5.35s 11,775 355 0
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Cultură generală Scor Consistență Rată de trecere pe încercare Teste instabile Teste corecte Timp de răspuns (mediu) Tokenuri de intrare Tokenuri de ieșire Tokenuri de raționament
Claude Opus 4.8 3.0 10.0 0.0% 0 3.41s 258 212 0
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748

Comparație rapidă

Schimbă perechea de comparație

Claude Opus 4.8nonevsMiniMax M3mediumClaude Opus 4.8nonevsGPT-5.4 NanomediumClaude Opus 4.8nonevsStep 3.7 FlashhighClaude Opus 4.8nonevsDeepSeek V3.2mediumClaude Opus 4.8nonevsQwen3.5-35B-A3BmediumClaude Opus 4.8nonevsGrok 4.20mediumGemma 4 31BnoneDisponibil gratuitvsMercury 2mediumClaude Opus 4.8nonevsMiMo-V2-FlashmediumClaude Opus 4.8nonevsSeed-2.0-MinimediumClaude Sonnet 4.6nonevsMercury 2mediumClaude Opus 4.8nonevsStep 3.5 FlashmediumClaude Opus 4.8nonevsGemini 3.1 Flash Litelow