Навигация
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Сводка

Сравнение benchmark Mercury 2 vs Step 3.7 Flash: Step 3.7 Flash лидирует по среднему баллу: 7.7 vs 7.5. Mercury 2 имеет более низкую стоимость benchmark: $0.058 vs $0.341. Mercury 2 быстрее: 2.24s vs 15.74s, с долей успешных попыток 54.0% vs 68.3%.

Рекомендуемая модель: Mercury 2 - Его балл близок к лучшему здесь (7.5 против 7.7), при этом он примерно в 5.9 раза дешевле, чем Step 3.7 Flash.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-12

Метрика Mercury 2 Mercury 2 medium Релиз: 2026-02-24 Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29
Оценка 7.5 7.7
Ранг #46 #42
Надежность 10.0 10.0
Стабильность 8.8 8.4
Тестов верно
Доля успешных попыток 54.0% 68.3%
Нестабильные тесты 3 4
Всего запусков 63 63
Стоимость за результат 0.578 2.840
Общая стоимость $0.058 $0.341
Цена входа $0.250 / 1M $0.200 / 1M
Цена выхода $0.750 / 1M $1.150 / 1M
Общее число входных токенов 35,116 40,101
Выходные токены 4,048 289,325
Токены рассуждений 61,219 0
Время ответа (среднее) 2.24s 15.74s
Время ответа (макс.) 14.63s 124.75s
Время ответа (суммарно) 44.72s 330.63s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#42 Step 3.7 Flash

low
Invalid SVG
Cost
$0.004
Time
25.3s
Tokens
3,072 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 8.7 7.9 91.7% 1 4.02s 756 10,896 0
Программирование Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0
Комбинированный Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 7.98s 13,683 6,426 0
Парсинг и извлечение данных Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 7.3 5.8 83.3% 1 2.29s 7,398 2,667 0
Предметно-ориентированное Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 5.3 7.2 44.4% 1 43.31s 828 104,487 0
Общий интеллект Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 3.4 9.3 0.0% 0 7.00s 525 4,604 0
Следование инструкциям Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.58s 735 1,857 0
Решение головоломок Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.5 9.9 33.3% 0 1.84s 756 3,564 0
Вызов инструментов Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 3.25s 7,746 1,360 0
Эрудиция Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 124.75s 237 134,779 0

Быстрое сравнение

Сменить пару сравнения

Claude Opus 4.6mediumvsStep 3.7 FlashlowStep 3.7 FlashlowvsGrok 4.3mediumMercury 2mediumvsGPT-5.3 ChatnoneQwen3.5-122B-A10BmediumvsStep 3.7 FlashlowKimi K2.6mediumБесплатно доступноvsStep 3.7 FlashlowGemini 3.1 Flash LitemediumvsStep 3.7 FlashlowQwen3.5 Plus 2026-04-20mediumvsStep 3.7 FlashlowGemini 3.1 Flash Lite PreviewmediumvsStep 3.7 FlashlowMiniMax M3mediumvsStep 3.7 FlashlowStep 3.7 FlashlowvsGrok Build 0.1mediumClaude Sonnet 4.6mediumvsStep 3.7 FlashlowQwen3.6 PlusmediumvsStep 3.7 Flashlow