AI BENCHY Compare

Google: Gemini 3.1 Flash Lite vs StepFun: Step 3.5 Flash

概要

Gemini 3.1 Flash Lite vs Step 3.5 Flash の benchmark 比較: Step 3.5 Flash が平均スコアでリードし、6.6 vs 6.4 です。 Gemini 3.1 Flash Lite の benchmark コストが低く、$0.028 vs $0.070 です。 Gemini 3.1 Flash Lite の方が高速で、1.89s vs 72.53s です、成功率は 61.9% vs 54.0% です。

おすすめモデル: Gemini 3.1 Flash Lite - スコアはここでの最高値に近く（6.4 vs 6.6）、Step 3.5 Flash より約 2.5 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01
スコア	6.4	6.6
順位	#85	#80
信頼性	10.0	10.0
一貫性	9.3	8.9
正解テスト
試行ごとの合格率	61.9%	54.0%
不安定なテスト	2	1
総実行回数	63	60
結果あたりのコスト	0.227	0.198
合計コスト	$0.028	$0.070
入力価格	$0.250 / 1M	$0.090 / 1M
出力価格	$1.500 / 1M	$0.300 / 1M
合計入力トークン	36,892	34,431
出力トークン	2,732	91,587
推論トークン	9,260	195,973
応答時間（平均）	1.89s	72.53s
応答時間（最大）	5.66s	453.94s
応答時間（合計）	39.62s	1015.47s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#85 Gemini 3.1 Flash Lite

low

コスト: $0.003
時間: 4.0s
トークン: 1,479 tok

#80 Step 3.5 Flash

medium

コスト: $0.008
時間: 277.1s
トークン: 23,695 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	7.3	6.2	75.0%	2		1.84s	500	1,013	1,548
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		1.53s	8,132	471	1,072
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		4.48s	12,870	348	975
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.44s	7,453	291	697
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	5.3	10.0	33.3%	0		1.52s	639	15	1,214
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		1.37s	492	69	438
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.52s	619	72	760
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.40s	570	210	1,191
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		5.66s	5,457	234	945
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		1.46s	160	9	420
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

クイック比較

比較ペアを切り替え