AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Сводка

Сравнение benchmark Mercury 2 vs Step 3.7 Flash: Step 3.7 Flash лидирует по среднему баллу: 7.0 vs 6.6. Mercury 2 имеет более низкую стоимость benchmark: $0.058 vs $1.148. Mercury 2 быстрее: 2.24s vs 64.46s, с долей успешных попыток 54.0% vs 63.5%.

Рекомендуемая модель: Mercury 2 - Его балл близок к лучшему здесь (6.6 против 7.0), при этом он примерно в 19.9 раза дешевле, чем Step 3.7 Flash.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-04

Метрика	Mercury 2 Mercury 2 medium Релиз: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29

Метрика	Mercury 2 Mercury 2 medium Релиз: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29
Оценка	6.6	7.0
Ранг	#81	#71
Надежность	10.0	10.0
Стабильность	8.8	8.2
Тестов верно
Доля успешных попыток	54.0%	63.5%
Нестабильные тесты	3	4
Всего запусков	63	63
Стоимость за результат	0.578	10.434
Общая стоимость	$0.058	$1.148
Цена входа	$0.250 / 1M	$0.200 / 1M
Цена выхода	$0.750 / 1M	$1.150 / 1M
Общее число входных токенов	35,116	38,391
Выходные токены	4,048	991,355
Токены рассуждений	61,219	0
Время ответа (среднее)	2.24s	64.46s
Время ответа (макс.)	14.63s	364.99s
Время ответа (суммарно)	44.72s	1353.57s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#81 Mercury 2

medium

Cost: $0.002
Time: 2.1s
Tokens: 1,702 tok

#71 Step 3.7 Flash

high

Cost: $0.007
Time: 63.6s
Tokens: 6,030 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		3.28s	12,909	268	4,887
Step 3.7 Flash	10.0	10.0	100.0%	0		13.01s	13,638	8,802	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	2.9	7.2	11.1%	1		6.48s	695	41	30,754
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	783	410,502	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Быстрое сравнение

Сменить пару сравнения

GPT-5.4 NanomediumvsStep 3.7 Flashhigh Claude Opus 4.6mediumvsStep 3.7 Flashhigh Claude Opus 4.8nonevsStep 3.7 Flashhigh MiniMax M3mediumvsStep 3.7 Flashhigh DeepSeek V3.2mediumvsStep 3.7 Flashhigh Qwen3.5-35B-A3BmediumvsStep 3.7 Flashhigh Step 3.7 FlashhighvsGrok 4.20medium Gemma 4 31BnoneБесплатно доступноvsMercury 2medium Seed-2.0-MinimediumvsStep 3.7 Flashhigh Step 3.7 FlashhighvsMiMo-V2-Flashmedium GPT-5.3 ChatnonevsStep 3.7 Flashhigh Claude Sonnet 4.6nonevsMercury 2medium