AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Google: Gemma 4 31B

概要

Claude Opus 4.8 vs Gemma 4 31B の benchmark 比較: Claude Opus 4.8 が平均スコアでリードし、7.2 vs 6.3 です。 Gemma 4 31B の benchmark コストが低く、$0.033 vs $0.539 です。 Claude Opus 4.8 の方が高速で、3.47s vs 56.55s です、成功率は 61.9% vs 69.8% です。

おすすめモデル: Claude Opus 4.8 - ここでは最高スコア（7.2）で、Gemma 4 31B より約 16.3 倍速く応答します。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Gemma 4 31B Gemma 4 31B medium リリース: 2026-04-02 無料で利用可能

指標	Claude Opus 4.8 Claude Opus 4.8 none リリース: 2026-05-28	Gemma 4 31B Gemma 4 31B medium リリース: 2026-04-02 無料で利用可能
スコア	7.2	6.3
順位	#57	#88
信頼性	10.0	10.0
一貫性	9.2	9.4
正解テスト
試行ごとの合格率	61.9%	69.8%
不安定なテスト	2	1
総実行回数	63	63
結果あたりのコスト	4.485	0.257
合計コスト	$0.539	$0.033
入力価格	$5.000 / 1M	$0.120 / 1M
出力価格	$25.000 / 1M	$0.350 / 1M
合計入力トークン	67,104	17,957
出力トークン	8,107	22,356
推論トークン	0	65,726
応答時間（平均）	3.47s	56.55s
応答時間（最大）	17.73s	437.40s
応答時間（合計）	72.90s	1074.41s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#57 Claude Opus 4.8

none

コスト: $0.053
時間: 22.0s
トークン: 2,253 tok

#88 Gemma 4 31B

medium

コスト: $0.002
時間: 45.7s
トークン: 2,696 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Gemma 4 31B	10.0	10.0	100.0%	0		12.89s	816	962	2,046

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Gemma 4 31B	4.3	5.8	22.2%	1		219.76s	5,568	11,098	33,212

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	29,658	3,259	0
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Gemma 4 31B	10.0	10.0	100.0%	0		21.11s	8,334	1,822	2,951

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.3	7.2	44.4%	1		1.66s	975	61	0
Gemma 4 31B	7.7	10.0	66.7%	0		38.48s	876	4,349	8,985

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Gemma 4 31B	10.0	10.0	100.0%	0		9.57s	567	105	888

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Gemma 4 31B	10.0	10.0	100.0%	0		12.76s	777	533	2,035

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Gemma 4 31B	9.9	10.0	100.0%	0		26.91s	801	1,795	5,595

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Gemma 4 31B	3.0	10.0	0.0%	0		90.14s	218	1,692	10,014

クイック比較

比較ペアを切り替え