AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs xAI: Grok Build 0.1

概要

Claude Opus 4.8 vs Grok Build 0.1 の benchmark 比較: Grok Build 0.1 が平均スコアでリードし、7.6 vs 7.2 です。 Claude Opus 4.8 の benchmark コストが低く、$0.539 vs $0.927 です。 Claude Opus 4.8 の方が高速で、3.47s vs 49.90s です、成功率は 61.9% vs 61.9% です。

おすすめモデル: Claude Opus 4.8 - スコアはここでの最高値に近く（7.2 vs 7.6）、Grok Build 0.1 より約 1.7 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-12

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Grok Build 0.1 Grok Build 0.1 medium リリース: 2026-05-21

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Grok Build 0.1 Grok Build 0.1 medium リリース: 2026-05-21
スコア	7.2	7.6
順位	#60	#45
信頼性	10.0	10.0
一貫性	9.2	9.9
正解テスト
試行ごとの合格率	61.9%	61.9%
不安定なテスト	2	0
総実行回数	63	63
結果あたりのコスト	4.485	7.124
合計コスト	$0.539	$0.927
入力価格	$5.000 / 1M	$1.000 / 1M
出力価格	$25.000 / 1M	$2.000 / 1M
合計入力トークン	67,104	44,418
出力トークン	8,107	2,782
推論トークン	0	438,018
応答時間（平均）	3.47s	49.90s
応答時間（最大）	17.73s	252.69s
応答時間（合計）	72.90s	1047.92s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 Claude Opus 4.8

none

Cost: $0.053
Time: 22.0s
Tokens: 2,253 tok

#45 xAI: Grok Build 0.1

medium

Cost: $0.028
Time: 81.3s
Tokens: 14,009 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Grok Build 0.1	8.3	10.0	75.0%	0		7.43s	2,010	220	12,162

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Grok Build 0.1	5.7	9.7	33.3%	0		108.46s	8,304	1,138	161,452

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	29,658	3,259	0
Grok Build 0.1	10.0	10.0	100.0%	0		32.81s	12,909	231	16,917

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Grok Build 0.1	10.0	10.0	100.0%	0		10.72s	7,761	180	8,876

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.3	7.2	44.4%	1		1.66s	975	61	0
Grok Build 0.1	5.3	10.0	33.3%	0		158.00s	1,764	492	175,294

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Grok Build 0.1	4.4	9.9	0.0%	0		18.41s	825	76	6,345

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Grok Build 0.1	9.8	10.0	100.0%	0		12.36s	1,362	57	9,599

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Grok Build 0.1	7.7	10.0	66.7%	0		18.26s	1,689	195	20,841

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Grok Build 0.1	10.0	10.0	100.0%	0		13.12s	7,263	180	4,969

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Grok Build 0.1	3.0	10.0	0.0%	0		53.51s	531	13	21,563

クイック比較

比較ペアを切り替え