AI BENCHY Compare

Google: Gemini 3.1 Flash Lite vs StepFun: Step 3.5 Flash

概要

Gemini 3.1 Flash Lite vs Step 3.5 Flash の benchmark 比較: Step 3.5 Flash が平均スコアでリードし、6.6 vs 6.1 です。 Gemini 3.1 Flash Lite の benchmark コストが低く、$0.013 vs $0.070 です。 Gemini 3.1 Flash Lite の方が高速で、1.33s vs 72.53s です、成功率は 54.0% vs 54.0% です。

おすすめモデル: Gemini 3.1 Flash Lite - スコアはここでの最高値に近く（6.1 vs 6.6）、Step 3.5 Flash より約 5.3 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite minimal リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01
スコア	6.1	6.6
順位	#94	#80
信頼性	10.0	10.0
一貫性	8.8	8.9
正解テスト
試行ごとの合格率	54.0%	54.0%
不安定なテスト	3	1
総実行回数	63	60
結果あたりのコスト	0.130	0.198
合計コスト	$0.013	$0.070
入力価格	$0.250 / 1M	$0.090 / 1M
出力価格	$1.500 / 1M	$0.300 / 1M
合計入力トークン	36,973	34,431
出力トークン	2,487	91,587
推論トークン	0	195,973
応答時間（平均）	1.33s	72.53s
応答時間（最大）	4.49s	453.94s
応答時間（合計）	27.91s	1015.47s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#94 Gemini 3.1 Flash Lite

minimal

コスト: $0.001
時間: 3.7s
トークン: 635 tok

#80 Step 3.5 Flash

medium

コスト: $0.008
時間: 277.1s
トークン: 23,695 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	8.3	10.0	75.0%	0		1.10s	500	639	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		831ms	8,126	666	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		2.53s	12,870	357	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.04s	7,552	279	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		1.02s	641	15	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		791ms	490	63	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		932ms	615	72	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	6.0	4.6	66.7%	2		2.15s	564	153	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		3.51s	5,457	234	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		724ms	158	9	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

クイック比較

比較ペアを切り替え