AI BENCHY Compare

OpenAI: GPT-5.6 Sol vs StepFun: Step 3.5 Flash

Сводка

Сравнение benchmark GPT-5.6 Sol vs Step 3.5 Flash (medium): Step 3.5 Flash (medium) лидирует по среднему баллу: 6.6 vs 6.3. Step 3.5 Flash (medium) имеет более низкую стоимость benchmark: $0.070 vs $0.225. GPT-5.6 Sol быстрее: 1.66s vs 72.53s, с долей успешных попыток 57.1% vs 54.0%.

Рекомендуемая модель: Step 3.5 Flash (medium) - Здесь у него лучший балл (6.6), при этом он примерно в 3.2 раза дешевле, чем GPT-5.6 Sol.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-09

Метрика	GPT-5.6 Sol GPT-5.6 Sol none Релиз: 2026-07-09	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01

Метрика	GPT-5.6 Sol GPT-5.6 Sol none Релиз: 2026-07-09	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01
Оценка	6.3	6.6
Ранг	#101	#93
Надежность	10.0	10.0
Стабильность	9.0	8.9
Тестов верно
Доля успешных попыток	57.1%	54.0%
Нестабильные тесты	3	1
Всего запусков	63	60
Стоимость за результат	2.244	0.198
Общая стоимость	$0.225	$0.070
Цена входа	$5.000 / 1M	$0.100 / 1M
Цена выхода	$30.000 / 1M	$0.300 / 1M
Общее число входных токенов	34,218	34,431
Выходные токены	1,776	91,587
Токены рассуждений	0	195,973
Время ответа (среднее)	1.66s	72.53s
Время ответа (макс.)	3.93s	453.94s
Время ответа (суммарно)	34.81s	1015.47s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#101 GPT-5.6 Sol

none

Стоимость: $0.116
Время: 78.7s
Токены: 3,944 tok

#93 Step 3.5 Flash

medium

Стоимость: $0.008
Время: 277.1s
Токены: 23,695 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	8.3	10.0	75.0%	0		1.27s	606	154	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	5.5	10.0	33.3%	0		1.39s	7,302	390	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	3.0	10.0	0.0%	0		3.93s	11,019	300	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		1.53s	7,140	222	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	3.6	7.2	22.2%	1		1.43s	723	54	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	6.5	3.4	66.7%	1		1.52s	477	91	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	8.5	6.8	83.3%	1		1.33s	660	84	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	7.7	10.0	66.7%	0		1.49s	642	211	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	10.0	10.0	100.0%	0		3.70s	5,454	246	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
GPT-5.6 Sol	3.0	10.0	0.0%	0		1.95s	195	24	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Быстрое сравнение

Сменить пару сравнения

Nemotron 3 SupermediumБесплатно доступноvsGPT-5.6 Solnone Gemma 4 31BmediumБесплатно доступноvsGPT-5.6 Solnone GPT-5.6 SolnonevsQwen3.5-35B-A3Bmedium Gemini 3.1 Flash LitelowvsGPT-5.6 Solnone Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium Gemini 3.1 Flash Lite PreviewlowvsGPT-5.6 Solnone Gemini 3.1 Flash LitelowvsStep 3.5 Flashmedium Gemini 3.1 Flash LiteminimalvsGPT-5.6 Solnone Gemini 3.5 FlashminimalvsStep 3.5 Flashmedium Qwen3.7 MaxnonevsStep 3.5 Flashmedium GPT-5.6 SolnonevsQwen3.6 27Bmedium