AI BENCHY Compare

OpenAI: GPT-5.4 Nano vs StepFun: Step 3.7 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-05-29

Метрика	GPT-5.4 Nano GPT-5.4 Nano medium Релиз: 2026-03-17	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29

Метрика	GPT-5.4 Nano GPT-5.4 Nano medium Релиз: 2026-03-17	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29
Оценка	7.2	7.1
Ранг	#72	#74
Надежность	10.0	10.0
Стабильность	8.8	8.2
Тестов верно
Доля успешных попыток	63.3%	65.8%
Нестабильные тесты	3	4
Всего запусков	60	60
Стоимость за результат	0.900	8.723
Общая стоимость	$0.099	$0.960
Цена входа	$0.200 / 1M	$0.200 / 1M
Цена выхода	$1.250 / 1M	$1.150 / 1M
Выходные токены	2,993	828,084
Токены рассуждений	70,928	0
Время ответа (среднее)	11.79s	49.43s
Время ответа (макс.)	94.06s	192.75s
Время ответа (суммарно)	235.81s	988.58s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	8.3	10.0	75.0%	0		4.52s	683	2,254
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	42,656	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	6.8	6.2	66.7%	1		21.10s	495	15,186
Step 3.7 Flash	3.6	4.6	25.0%	1		126.82s	164,069	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	9.8	10.0	100.0%	0		24.13s	349	5,719
Step 3.7 Flash	10.0	10.0	100.0%	0		13.01s	8,802	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	10.0	10.0	100.0%	0		2.54s	234	516
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	23,113	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	5.9	7.2	55.6%	1		38.18s	60	43,325
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	410,502	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	4.5	10.0	0.0%	0		4.15s	179	443
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	2,862	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	9.8	10.0	100.0%	0		1.88s	95	521
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	2,010	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	4.1	7.2	22.2%	1		3.79s	594	1,408
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	25,422	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	10.0	10.0	100.0%	0		7.71s	234	382
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	1,172	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
GPT-5.4 Nano	3.0	10.0	0.0%	0		4.81s	70	1,174
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	147,476	0

Быстрое сравнение

Сменить пару сравнения

GPT-5 MinimediumvsStep 3.7 Flashhigh Seed-2.0-MinimediumvsStep 3.7 Flashhigh Qwen3.6 Max PreviewnonevsStep 3.7 Flashhigh Ring-2.6-1TnonevsGPT-5.4 Nanomedium Claude Opus 4.6mediumvsStep 3.7 Flashhigh Step 3.7 FlashhighvsMiMo-V2-Flashmedium GPT-5.4 NanomediumvsQwen3.6 Max Previewnone Ring-2.6-1TnonevsStep 3.7 Flashhigh Claude Opus 4.8nonevsGPT-5.4 Nanomedium Ring-2.6-1TmediumvsStep 3.7 Flashhigh Qwen3.5-35B-A3BmediumvsStep 3.7 Flashhigh Claude Sonnet 4.6nonevsStep 3.7 Flashhigh