AI BENCHY Compare

Nemotron 3 Ultra 550b A55b vs StepFun: Step 3.5 Flash

概要

Nemotron 3 Ultra 550b A55b vs Step 3.5 Flash の benchmark 比較: Step 3.5 Flash が平均スコアでリードし、6.6 vs 6.1 です。 Nemotron 3 Ultra 550b A55b の benchmark コストが低く、$0.027 vs $0.070 です。 Nemotron 3 Ultra 550b A55b の方が高速で、2.27s vs 72.53s です、成功率は 44.4% vs 54.0% です。

おすすめモデル: Nemotron 3 Ultra 550b A55b - スコアはここでの最高値に近く（6.1 vs 6.6）、Step 3.5 Flash より約 2.6 倍低コストです。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-18

指標	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none リリース: 2026-06-04 無料で利用可能	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01

指標	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none リリース: 2026-06-04 無料で利用可能	Step 3.5 Flash Step 3.5 Flash medium リリース: 2026-02-01
スコア	6.1	6.6
順位	#99	#80
信頼性	10.0	10.0
一貫性	9.2	8.9
正解テスト
試行ごとの合格率	44.4%	54.0%
不安定なテスト	2	1
総実行回数	63	60
結果あたりのコスト	0.000	0.198
合計コスト	$0.027	$0.070
入力価格	$0.500 / 1M	$0.090 / 1M
出力価格	$2.200 / 1M	$0.300 / 1M
合計入力トークン	43,326	34,431
出力トークン	2,138	91,587
推論トークン	0	195,973
応答時間（平均）	2.27s	72.53s
応答時間（最大）	13.49s	453.94s
応答時間（合計）	47.65s	1015.47s

生成ショーケース

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#99 Nemotron 3 Ultra 550b A55b

none

コスト: $0.000
時間: 149.6s
トークン: 3,405 tok

#80 Step 3.5 Flash

medium

コスト: $0.008
時間: 277.1s
トークン: 23,695 tok

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

スコア vs 応答時間（平均）

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	3.5	8.0	16.7%	1		2.35s	696	239	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

コーディング	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	5.5	10.0	33.3%	0		1.02s	7,623	369	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

複合	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		4.79s	15,558	357	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

データ解析と抽出	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.94s	7,944	249	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

ドメイン特化	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	5.3	10.0	33.3%	0		698ms	789	27	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

汎用知能	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	5.0	10.0	0.0%	0		13.49s	516	101	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

指示追従	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.46s	723	69	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

パズル解決	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	5.9	7.2	55.6%	1		1.06s	726	352	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

ツール呼び出し	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		2.99s	8,544	264	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

雑学	スコア	一貫性	試行ごとの合格率	不安定なテスト	正解テスト	応答時間（平均）	入力トークン	出力トークン	推論トークン
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		1.83s	207	111	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

クイック比較

比較ペアを切り替え

Gemini 3.1 Flash LiteminimalvsNemotron 3 Ultra 550b A55bnone無料で利用可能 Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium Gemini 3.1 Flash LitelowvsStep 3.5 Flashmedium Gemini 3.5 FlashminimalvsStep 3.5 Flashmedium North Mini Codemedium無料で利用可能vsNemotron 3 Ultra 550b A55bnone無料で利用可能 Nemotron 3 Ultra 550b A55bnone無料で利用可能vsQwen3.5-35B-A3Bmedium Qwen3.7 MaxnonevsStep 3.5 Flashmedium Gemma 4 31Bmedium無料で利用可能vsNemotron 3 Ultra 550b A55bnone無料で利用可能 Gemini 3 Flash PreviewnonevsStep 3.5 Flashmedium GPT-5.5nonevsStep 3.5 Flashmedium Gemini 3.5 FlashnonevsStep 3.5 Flashmedium