AI BENCHY Compare

Google: Gemini 3.1 Flash Lite vs StepFun: Step 3.5 Flash

概要

Gemini 3.1 Flash Lite vs Step 3.5 Flash の benchmark 比較: Step 3.5 Flash が平均スコアでリードし、6.6 vs 6.1 です。 Gemini 3.1 Flash Lite の benchmark コストが低く、$0.013 vs $0.070 です。 Gemini 3.1 Flash Lite の方が高速で、1.06s vs 72.53s です、成功率は 52.4% vs 54.0% です。

おすすめモデル: Gemini 3.1 Flash Lite - スコアはここでの最高値に近く（6.1 vs 6.6）、Step 3.5 Flash より約 5.4 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite none リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01

指標	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite none リリース: 2026-05-08	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01
スコア	6.1	6.6
順位	#96	#80
信頼性	10.0	10.0
一貫性	8.6	8.9
正解テスト
試行ごとの合格率	52.4%	54.0%
不安定なテスト	4	1
総実行回数	63	60
結果あたりのコスト	0.144	0.198
合計コスト	$0.013	$0.070
入力価格	$0.250 / 1M	$0.090 / 1M
出力価格	$1.500 / 1M	$0.300 / 1M
合計入力トークン	36,710	34,431
出力トークン	2,484	91,587
推論トークン	0	195,973
応答時間（平均）	1.06s	72.53s
応答時間（最大）	2.97s	453.94s
応答時間（合計）	22.35s	1015.47s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#96 Gemini 3.1 Flash Lite

none

コスト: $0.001
時間: 4.5s
トークン: 727 tok

#80 Step 3.5 Flash

medium

コスト: $0.008
時間: 277.1s
トークン: 23,695 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	7.5	8.4	66.7%	1		1.07s	506	639	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		938ms	8,128	666	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		2.73s	12,870	357	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		843ms	7,267	279	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		762ms	647	15	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		992ms	486	63	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		859ms	619	72	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	6.3	4.8	66.7%	2		720ms	570	150	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.97s	5,457	234	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		733ms	160	9	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

クイック比較

比較ペアを切り替え