AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs OpenAI: GPT-5.4 Nano

概要

Claude Sonnet 4.6 vs GPT-5.4 Nano の benchmark 比較: GPT-5.4 Nano が平均スコアでリードし、7.5 vs 7.3 です。 GPT-5.4 Nano の benchmark コストが低く、$0.107 vs $0.316 です。 Claude Sonnet 4.6 の方が高速で、5.04s vs 11.95s です、成功率は 55.6% vs 63.5% です。

おすすめモデル: GPT-5.4 Nano - ここでは最高スコア（7.5）で、Claude Sonnet 4.6 より約 3.0 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-12

指標	Claude Sonnet 4.6 Claude Sonnet 4.6 none リリース: 2026-02-17	GPT-5.4 Nano GPT-5.4 Nano medium リリース: 2026-03-17

指標	Claude Sonnet 4.6 Claude Sonnet 4.6 none リリース: 2026-02-17	GPT-5.4 Nano GPT-5.4 Nano medium リリース: 2026-03-17
スコア	7.3	7.5
順位	#56	#48
信頼性	10.0	10.0
一貫性	9.7	8.4
正解テスト
試行ごとの合格率	55.6%	63.5%
不安定なテスト	1	4
総実行回数	63	63
結果あたりのコスト	2.870	0.969
合計コスト	$0.316	$0.107
入力価格	$3.000 / 1M	$0.200 / 1M
出力価格	$15.000 / 1M	$1.250 / 1M
合計入力トークン	57,886	35,434
出力トークン	9,465	3,014
推論トークン	0	76,520
応答時間（平均）	5.04s	11.95s
応答時間（最大）	23.84s	94.06s
応答時間（合計）	70.60s	250.98s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#56 Claude Sonnet 4.6

none

Cost: $0.038
Time: 27.3s
Tokens: 2,598 tok

#48 GPT-5.4 Nano

medium

Cost: $0.007
Time: 24.6s
Tokens: 4,943 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
GPT-5.4 Nano	8.3	10.0	75.0%	0		4.52s	606	683	2,254

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
GPT-5.4 Nano	6.1	4.7	66.7%	2		19.12s	7,305	516	20,778

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	9.5	10.0	100.0%	0		23.84s	26,024	3,766	0
GPT-5.4 Nano	9.8	10.0	100.0%	0		24.13s	12,345	349	5,719

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		2.54s	7,140	234	516

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
GPT-5.4 Nano	5.9	7.2	55.6%	1		38.18s	619	60	43,325

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
GPT-5.4 Nano	4.5	10.0	0.0%	0		4.15s	477	179	443

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
GPT-5.4 Nano	9.8	10.0	100.0%	0		1.88s	660	95	521

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
GPT-5.4 Nano	4.1	7.2	22.2%	1		3.79s	642	594	1,408

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		7.71s	5,445	234	382

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
GPT-5.4 Nano	3.0	10.0	0.0%	0		4.81s	195	70	1,174

クイック比較

比較ペアを切り替え