AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Inception: Mercury 2

概要

Claude Opus 4.8 vs Mercury 2 の benchmark 比較: Claude Opus 4.8 が平均スコアでリードし、7.0 vs 6.6 です。 Mercury 2 の benchmark コストが低く、$0.058 vs $0.539 です。 Mercury 2 の方が高速で、2.24s vs 3.47s です、成功率は 61.9% vs 54.0% です。

おすすめモデル: Mercury 2 - スコアはここでの最高値に近く（6.6 vs 7.0）、Claude Opus 4.8 より約 9.3 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-04

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Mercury 2 Mercury 2 medium リリース: 2026-02-24

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Mercury 2 Mercury 2 medium リリース: 2026-02-24
スコア	7.0	6.6
順位	#68	#81
信頼性	10.0	10.0
一貫性	9.2	8.8
正解テスト
試行ごとの合格率	61.9%	54.0%
不安定なテスト	2	3
総実行回数	63	63
結果あたりのコスト	4.485	0.578
合計コスト	$0.539	$0.058
入力価格	$5.000 / 1M	$0.250 / 1M
出力価格	$25.000 / 1M	$0.750 / 1M
合計入力トークン	67,104	35,116
出力トークン	8,107	4,048
推論トークン	0	61,219
応答時間（平均）	3.47s	2.24s
応答時間（最大）	17.73s	14.63s
応答時間（合計）	72.90s	44.72s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#68 Claude Opus 4.8

none

Cost: $0.053
Time: 22.0s
Tokens: 2,253 tok

#81 Mercury 2

medium

Cost: $0.002
Time: 2.1s
Tokens: 1,702 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	29,658	3,259	0
Mercury 2	10.0	10.0	100.0%	0		3.28s	12,909	268	4,887

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.3	7.2	44.4%	1		1.66s	975	61	0
Mercury 2	2.9	7.2	11.1%	1		6.48s	695	41	30,754

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748

クイック比較

比較ペアを切り替え