AI BENCHY Compare

OpenAI: GPT-5.6 Sol vs StepFun: Step 3.7 Flash

Сводка

Сравнение benchmark GPT-5.6 Sol (medium) vs Step 3.7 Flash (low): GPT-5.6 Sol (medium) лидирует по среднему баллу: 9.4 vs 7.7. Step 3.7 Flash (low) имеет более низкую стоимость benchmark: $0.341 vs $0.966. GPT-5.6 Sol (medium) быстрее: 10.79s vs 15.74s, с долей успешных попыток 90.5% vs 68.3%.

Рекомендуемая модель: GPT-5.6 Sol (medium) - У него самый высокий балл в этом сравнении (9.4) и лучший общий баланс стоимости и времени ответа среди всех 2 моделей.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-09

Метрика	GPT-5.6 Sol GPT-5.6 Sol medium Релиз: 2026-07-09	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29

Метрика	GPT-5.6 Sol GPT-5.6 Sol medium Релиз: 2026-07-09	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29
Оценка	9.4	7.7
Ранг	#5	#49
Надежность	10.0	10.0
Стабильность	8.8	8.4
Тестов верно
Доля успешных попыток	90.5%	68.3%
Нестабильные тесты	3	4
Всего запусков	63	63
Стоимость за результат	5.682	2.840
Общая стоимость	$0.966	$0.341
Цена входа	$5.000 / 1M	$0.200 / 1M
Цена выхода	$30.000 / 1M	$1.150 / 1M
Общее число входных токенов	34,218	40,101
Выходные токены	1,895	289,325
Токены рассуждений	24,600	0
Время ответа (среднее)	10.79s	15.74s
Время ответа (макс.)	79.40s	124.75s
Время ответа (суммарно)	226.57s	330.63s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#5 GPT-5.6 Sol

medium

Стоимость: $0.124
Время: 57.2s
Токены: 4,199 tok

#49 Step 3.7 Flash

low

Неверный SVG

Стоимость: $0.004
Время: 25.3s
Токены: 3,072 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		2.81s	606	173	572
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		9.40s	7,302	394	4,706
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		12.13s	11,019	318	1,214
Step 3.7 Flash	10.0	10.0	100.0%	0		7.98s	13,683	6,426	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		1.38s	7,140	222	0
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	5.9	7.2	55.6%	1		47.86s	723	71	16,201
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		3.48s	477	99	214
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		2.50s	660	96	249
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	8.2	7.2	88.9%	1		2.98s	642	228	566
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		6.30s	5,454	264	361
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	4.7	1.6	66.7%	1		4.94s	195	30	517
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Быстрое сравнение

Сменить пару сравнения