AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Google: Gemini 3.5 Flash

概要

Claude Opus 4.8 vs Gemini 3.5 Flash の benchmark 比較: Gemini 3.5 Flash が平均スコアでリードし、9.8 vs 7.7 です。 Gemini 3.5 Flash の benchmark コストが低く、$1.115 vs $1.270 です。 Gemini 3.5 Flash の方が高速で、8.84s vs 10.83s です、成功率は 79.4% vs 96.8% です。

おすすめモデル: Gemini 3.5 Flash - この比較で最も高いスコア（9.8）を出し、全 2 モデルの中でコストと応答時間のバランスも最良です。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-30

指標	Claude Opus 4.8 Claude Opus 4.8 low リリース: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash high リリース: 2026-05-19

指標	Claude Opus 4.8 Claude Opus 4.8 low リリース: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash high リリース: 2026-05-19
スコア	7.7	9.8
順位	#38	#1
信頼性	10.0	10.0
一貫性	8.8	9.6
正解テスト
試行ごとの合格率	79.4%	96.8%
不安定なテスト	3	1
総実行回数	63	63
結果あたりのコスト	8.466	5.575
合計コスト	$1.270	$1.115
入力価格	$5.000 / 1M	$1.500 / 1M
出力価格	$25.000 / 1M	$9.000 / 1M
合計入力トークン	60,946	37,594
出力トークン	31,771	1,975
推論トークン	6,831	115,638
応答時間（平均）	10.83s	8.84s
応答時間（最大）	127.97s	34.82s
応答時間（合計）	227.39s	185.57s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

コスト: $0.031
時間: 14.1s
トークン: 1,345 tok

#1 Gemini 3.5 Flash

high

コスト: $0.208
時間: 118.2s
トークン: 23,158 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.57s	492	174	4,997

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.96s	8,118	456	47,129

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.37s	12,873	351	16,323

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		6.43s	7,548	279	8,466

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Gemini 3.5 Flash	7.6	7.2	77.8%	1		14.09s	633	12	24,721

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.63s	486	115	1,650

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.35s	615	70	3,799

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.23s	558	241	4,940

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Gemini 3.5 Flash	9.8	10.0	100.0%	0		4.96s	6,115	265	1,608

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.94s	156	12	2,005

クイック比較

比較ペアを切り替え