AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Google: Gemini 3.1 Flash Lite

概要

Claude Sonnet 4.6 vs Gemini 3.1 Flash Lite の benchmark 比較: Gemini 3.1 Flash Lite が平均スコアでリードし、7.8 vs 7.3 です。 Gemini 3.1 Flash Lite の benchmark コストが低く、$0.071 vs $0.316 です。 Gemini 3.1 Flash Lite の方が高速で、3.23s vs 5.04s です、成功率は 55.6% vs 65.1% です。

おすすめモデル: Gemini 3.1 Flash Lite - ここでは最高スコア（7.8）で、Claude Sonnet 4.6 より約 4.5 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Claude Sonnet 4.6 Claude Sonnet 4.6 none リリース: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium リリース: 2026-05-08

指標	Claude Sonnet 4.6 Claude Sonnet 4.6 none リリース: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium リリース: 2026-05-08
スコア	7.3	7.8
順位	#55	#34
信頼性	10.0	10.0
一貫性	9.7	9.2
正解テスト
試行ごとの合格率	55.6%	65.1%
不安定なテスト	1	2
総実行回数	63	63
結果あたりのコスト	2.870	0.539
合計コスト	$0.316	$0.071
入力価格	$3.000 / 1M	$0.250 / 1M
出力価格	$15.000 / 1M	$1.500 / 1M
合計入力トークン	57,886	36,808
出力トークン	9,465	2,254
推論トークン	0	38,300
応答時間（平均）	5.04s	3.23s
応答時間（最大）	23.84s	10.87s
応答時間（合計）	70.60s	67.80s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#55 Claude Sonnet 4.6

none

コスト: $0.038
時間: 27.3s
トークン: 2,598 tok

#34 Gemini 3.1 Flash Lite

medium

コスト: $0.003
時間: 5.3s
トークン: 1,754 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Gemini 3.1 Flash Lite	9.1	10.0	75.0%	0		2.39s	502	604	4,201

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		3.81s	8,134	459	8,978

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	9.5	10.0	100.0%	0		23.84s	26,024	3,766	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		10.87s	12,873	327	7,401

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	7,362	279	2,845

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		3.16s	643	15	5,165

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	488	84	1,142

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Gemini 3.1 Flash Lite	9.9	10.0	100.0%	0		2.59s	623	75	3,320

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Gemini 3.1 Flash Lite	7.6	7.2	77.8%	1		1.95s	568	165	2,450

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		4.55s	5,457	234	921

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		3.08s	158	12	1,877

クイック比較

比較ペアを切り替え