NVIDIA: Nemotron 3 Ultra vs StepFun: Step 3.5 Flash

Nemotron 3 Ultra (medium) лидирует по среднему баллу: 7.5 vs 6.0. Step 3.5 Flash (medium) имеет более низкую стоимость benchmark: $0.108 vs $0.774. Nemotron 3 Ultra (medium) быстрее: 32.21s vs 174.22s, с долей успешных попыток 68.2% vs 51.5%.

Рекомендуемая модельNemotron 3 Ultra (medium)Здесь у него лучший балл (7.5), и он отвечает примерно в 5.4 раза быстрее, чем Step 3.5 Flash (medium).

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-18

Метрика	Nemotron 3 Ultra Nemotron 3 Ultra medium Релиз: 2026-06-04 Бесплатно доступно	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01

Метрика	Nemotron 3 Ultra Nemotron 3 Ultra medium Релиз: 2026-06-04 Бесплатно доступно	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01
Оценка	7.5	6.0
Ранг	#51	#126
Надежность	9.8	9.2
Стабильность	8.5	9.0
Тестов верно
Доля успешных попыток	68.2%	51.5%
Нестабильные тесты	4	1
Всего запусков	66	63
Стоимость за результат	0.000	0.540
Общая стоимость	$0.774	$0.108
Цена входа	$0.600 / 1M	$0.100 / 1M
Цена выхода	$3.600 / 1M	$0.300 / 1M
Общее число входных токенов	233,488	65,707
Выходные токены	57,916	108,561
Токены рассуждений	128,062	293,993
Время ответа (среднее)	32.21s	174.22s
Время ответа (макс.)	392.56s	1597.85s
Время ответа (суммарно)	708.65s	2613.32s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#51 Nemotron 3 Ultra

medium

Неверный SVG

Стоимость: $0.000
Время: 300.0s
Токены: 0 tok

#126 Step 3.5 Flash

medium

Стоимость: $0.008
Время: 277.1s
Токены: 23,695 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	10.0	10.0	100.0%	0		8.62s	780	835	1,485
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	8.4	7.4	88.9%	1		26.53s	7,686	2,854	17,725
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	6.3	5.8	66.7%	1		218.25s	204,249	40,954	78,561
Step 3.5 Flash	6.5	10.0	50.0%	0		813.71s	44,914	18,150	111,004

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	10.0	10.0	100.0%	0		5.68s	7,989	473	1,285
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	3.5	4.4	33.3%	2		24.90s	858	11,169	16,249
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	3.7	9.5	0.0%	0		2.52s	360	70	235
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	9.8	10.0	100.0%	0		6.35s	765	182	1,243
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	5.5	9.9	33.3%	0		3.54s	792	771	2,055
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	10.0	10.0	100.0%	0		7.72s	9,781	304	984
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Nemotron 3 Ultra	3.0	10.0	0.0%	0		38.47s	228	304	8,240
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Быстрое сравнение

Сменить пару сравнения