AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

概要

Claude Opus 4.8 vs Step 3.7 Flash の benchmark 比較: Step 3.7 Flash が平均スコアでリードし、8.5 vs 7.7 です。 Step 3.7 Flash の benchmark コストが低く、$0.376 vs $1.270 です。 Claude Opus 4.8 の方が高速で、10.83s vs 20.35s です、成功率は 79.4% vs 73.0% です。

おすすめモデル: Step 3.7 Flash - ここでは最高スコア（8.5）で、Claude Opus 4.8 より約 3.4 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-07-02

指標	Claude Opus 4.8 Claude Opus 4.8 low リリース: 2026-05-28	Step 3.7 Flash Step 3.7 Flash medium リリース: 2026-05-29

指標	Claude Opus 4.8 Claude Opus 4.8 low リリース: 2026-05-28	Step 3.7 Flash Step 3.7 Flash medium リリース: 2026-05-29
スコア	7.7	8.5
順位	#38	#20
信頼性	10.0	9.9
一貫性	8.8	9.3
正解テスト
試行ごとの合格率	79.4%	73.0%
不安定なテスト	3	2
総実行回数	63	61
結果あたりのコスト	8.466	2.686
合計コスト	$1.270	$0.376
入力価格	$5.000 / 1M	$0.200 / 1M
出力価格	$25.000 / 1M	$1.150 / 1M
合計入力トークン	60,946	39,981
出力トークン	31,771	319,958
推論トークン	6,831	0
応答時間（平均）	10.83s	20.35s
応答時間（最大）	127.97s	113.98s
応答時間（合計）	227.39s	427.42s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

コスト: $0.031
時間: 14.1s
トークン: 1,345 tok

#20 Step 3.7 Flash

medium

コスト: $0.006
時間: 46.2s
トークン: 4,466 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

クイック比較

比較ペアを切り替え