AI BENCHY Compare

Qwen: Qwen3.5-27B vs StepFun: Step 3.7 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-05-29

Метрика	Qwen3.5-27B Qwen3.5-27B medium Релиз: 2026-02-24	Step 3.7 Flash Step 3.7 Flash medium Релиз: 2026-05-29

Метрика	Qwen3.5-27B Qwen3.5-27B medium Релиз: 2026-02-24	Step 3.7 Flash Step 3.7 Flash medium Релиз: 2026-05-29
Оценка	7.9	7.9
Ранг	#28	#32
Надежность	10.0	9.9
Стабильность	8.9	9.2
Тестов верно
Доля успешных попыток	73.3%	71.7%
Нестабильные тесты	3	2
Всего запусков	60	58
Стоимость за результат	4.532	2.663
Общая стоимость	$0.590	$0.347
Цена входа	$0.195 / 1M	$0.200 / 1M
Цена выхода	$1.560 / 1M	$1.150 / 1M
Выходные токены	2,569	294,481
Токены рассуждений	304,894	0
Время ответа (среднее)	60.09s	18.32s
Время ответа (макс.)	177.36s	113.98s
Время ответа (суммарно)	1201.89s	366.45s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	8.7	7.9	91.7%	1		19.75s	569	31,505
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	32,185	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	7.0	9.8	50.0%	0		123.86s	416	64,993
Step 3.7 Flash	8.2	6.7	83.3%	1		10.64s	19,320	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	10.0	10.0	100.0%	0		163.96s	483	9,991
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	7,106	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	10.0	10.0	100.0%	0		30.26s	270	16,150
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	3,020	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	5.3	10.0	33.3%	0		79.53s	43	52,368
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	70,347	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	6.1	3.1	66.7%	1		101.41s	70	23,147
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	3,987	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	10.0	10.0	100.0%	0		19.66s	97	11,638
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	2,166	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	8.2	7.7	77.8%	1		59.60s	242	70,096
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	15,071	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	10.0	10.0	100.0%	0		7.45s	348	1,323
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	2,115	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Qwen3.5-27B	3.0	10.0	0.0%	0		85.11s	31	23,683
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	139,164	0

Быстрое сравнение

Сменить пару сравнения

Qwen3.7 MaxnonevsStep 3.7 Flashmedium Gemini 3.5 FlashminimalvsQwen3.5-27Bmedium GPT-5.2 ChatnonevsStep 3.7 Flashmedium Gemini 3.5 FlashminimalvsStep 3.7 Flashmedium GPT-5.2 ChatnonevsQwen3.5-27Bmedium Gemini 3 Flash PreviewnonevsStep 3.7 Flashmedium Gemini 3 Flash PreviewnonevsQwen3.5-27Bmedium DeepSeek V4 FlashhighБесплатно доступноvsStep 3.7 Flashmedium Gemini 3.1 Flash Lite PreviewlowvsStep 3.7 Flashmedium DeepSeek V4 FlashhighБесплатно доступноvsQwen3.5-27Bmedium Gemini 3.1 Flash Lite PreviewlowvsQwen3.5-27Bmedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.7 Flashmedium